Windows 预览

2024年2月15日

Ollama windows

Ollama 现已推出 Windows 预览版，从而可以在全新的原生 Windows 体验中拉取、运行和创建大型语言模型。 Windows 上的 Ollama 包括内置 GPU 加速、访问完整的模型库，以及包括OpenAI 兼容性的 Ollama API。

硬件加速

Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集（如 AVX 和 AVX2，如果可用）来加速运行模型。 无需配置或虚拟化！

完全访问模型库

完整的 Ollama 模型库 可在 Windows 上运行，包括视觉模型。 运行视觉模型（例如 LLaVA 1.6）时，可以将图像拖放到 ollama run 中以将其添加到消息中。

常时在线 Ollama API

Ollama 的 API 会自动在后台运行，并在 https://127.0.0.1:11434 上提供服务。 工具和应用程序无需任何额外设置即可连接到它。

ollama background

例如，以下是如何使用 PowerShell 调用 Ollama 的 API

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri https://127.0.0.1:11434/api/generate ).Content | ConvertFrom-json

Windows 上的 Ollama 也支持与其他平台相同的 OpenAI 兼容性，因此可以使用为 OpenAI 构建的现有工具通过 Ollama 使用本地模型。

开始使用

要开始使用 Windows 预览版上的 Ollama

  • 下载 Windows 上的 Ollama
  • 双击安装程序，OllamaSetup.exe
  • 安装后，打开您喜欢的终端并运行 ollama run llama2 来运行一个模型

Ollama 将在新版本可用时提示更新。 我们希望得到您的反馈！ 如果您遇到任何问题，请通过提出 issue或加入 Discord 服务器来告诉我们。