Windows 预览版

2024 年 2 月 15 日

Ollama windows

Ollama 现在已 发布 Windows 预览版，让您可以在全新的原生 Windows 体验中拉取、运行和创建大型语言模型。Ollama for Windows 包括内置 GPU 加速、访问完整的 模型库，以及 Ollama API（包括 OpenAI 兼容性）。

硬件加速

Ollama 使用 NVIDIA GPU 加速模型运行，如果可用，还使用现代 CPU 指令集（如 AVX 和 AVX2）。无需配置或虚拟化！

完整访问模型库

完整的 Ollama 模型库 可在 Windows 上运行，包括 视觉模型。在运行 LLaVA 1.6 等视觉模型时，可以将图像拖放到 ollama run 中以将其添加到消息中。

始终在线的 Ollama API

Ollama 的 API 会自动在后台运行，并在 https://127.0.0.1:11434 上提供服务。工具和应用程序可以无需任何额外设置即可连接到它。

ollama background

例如，以下是如何使用 PowerShell 调用 Ollama 的 API

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri https://127.0.0.1:11434/api/generate ).Content | ConvertFrom-json

Ollama for Windows 还支持与其他平台相同的 OpenAI 兼容性，使您可以通过 Ollama 将为 OpenAI 构建的现有工具与本地模型一起使用。

入门

要开始使用 Ollama for Windows 预览版，请执行以下操作

  • 下载 Ollama for Windows
  • 双击安装程序 OllamaSetup.exe
  • 安装完成后，打开您喜欢的终端并运行 ollama run llama2 来运行模型

当有新版本发布时，Ollama 会提示您更新。我们很乐意收到您的反馈！如果您遇到任何问题，请通过 创建问题 或加入 Discord 服务器 与我们联系。