工具支持

Ollama 现在支持使用工具调用，支持流行的模型，如 Llama 3.1。 这使模型能够使用其已知的工具来回答给定的提示，从而使模型能够执行更复杂的任务或与外部世界交互。

示例工具包括

• 函数和 API
• 网页浏览
• 代码解释器
• 等等！

工具调用

要启用工具调用，请通过 Ollama API 中的 tools 字段提供可用工具的列表。

import ollama

response = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content':
        'What is the weather in Toronto?'}],

		# provide a weather checking tool to the model
    tools=[{
      'type': 'function',
      'function': {
        'name': 'get_current_weather',
        'description': 'Get the current weather for a city',
        'parameters': {
          'type': 'object',
          'properties': {
            'city': {
              'type': 'string',
              'description': 'The name of the city',
            },
          },
          'required': ['city'],
        },
      },
    },
  ],
)

print(response['message']['tool_calls'])

支持的模型现在将使用 tool_calls 响应进行回答。 工具响应可以通过带有 tool 角色的消息提供。 有关更多信息，请参阅API 文档。

支持的模型

支持的模型列表可以在模型页面上的工具类别下找到

• Llama 3.1
• Mistral Nemo
• Firefunction v2
• Command-R +

注意：请运行 ollama pull <model> 来检查您是否拥有最新的模型

OpenAI 兼容性

Ollama 的 OpenAI 兼容端点现在也支持工具，从而可以切换到使用 Llama 3.1 和其他模型。

import openai

openai.base_url = "https://127.0.0.1:11434/v1"
openai.api_key = 'ollama'

response = openai.chat.completions.create(
	model="llama3.1",
	messages=messages,
	tools=tools,
)

完整示例

• Python
• JavaScript

未来改进

• 流式传输工具调用：流式传输工具调用以更快地开始采取行动，尤其是在返回多个工具时
• 工具选择：强制模型使用某个工具

让我们一起构建

我们很高兴为您带来工具支持，并期待您使用它构建什么！

如果您有任何反馈，请随时在我们的 Discord 或通过 hello@ollama.com 告诉我们。