Ollama 现已作为官方 Docker 镜像提供

我们很高兴地宣布 Ollama 现已作为官方 Docker 赞助的 开源镜像 提供，使用 Docker 容器更轻松地使用大型语言模型。

使用 Ollama，您与大型语言模型的所有交互都在本地进行，不会将私人数据发送到第三方服务。

在 Mac 上

Ollama 处理使用 GPU 加速运行模型。它提供简单的 CLI 和 REST API，用于与您的应用程序交互。

要开始使用，只需 下载 并安装 Ollama。

我们建议将 Ollama 与 Docker Desktop for macOS 一起运行，以便 Ollama 为模型启用 GPU 加速。

在 Linux 上

Ollama 可以使用 GPU 加速在 Docker 容器内为 Nvidia GPU 运行。

要开始使用 Docker 镜像，请使用以下命令。

仅 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安装 Nvidia 容器工具包。
2. 在 Docker 容器内运行 Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在您可以在容器内运行像 Llama 2 这样的模型。

docker exec -it ollama ollama run llama2

更多模型可以在 Ollama 库 中找到。

加入 Ollama 的 Discord，与其他社区成员、维护者和贡献者聊天。

关注 Ollama 的 Twitter 获取更新。