Ollama 现已作为官方 Docker 镜像提供

我们很高兴地宣布，Ollama 现已作为官方 Docker 赞助的开源镜像提供，从而可以更轻松地使用 Docker 容器启动并运行大型语言模型。

使用 Ollama，您与大型语言模型的所有交互都在本地发生，而不会将私人数据发送给第三方服务。

在 Mac 上

Ollama 负责处理模型运行时的 GPU 加速。它提供了简单的 CLI 以及 REST API，用于与您的应用程序进行交互。

要开始使用，只需下载并安装 Ollama。

在 Mac 上，请在 Docker 容器之外以独立应用程序形式运行 Ollama，因为 Docker Desktop 不支持 GPU。

在 Linux 上

对于 Nvidia GPU，Ollama 可以在 Docker 容器内使用 GPU 加速运行。

要开始使用 Docker 镜像，请使用以下命令。

仅 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安装 Nvidia 容器工具包。
2. 在 Docker 容器内运行 Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在您可以在容器内运行像 Llama 2 这样的模型。

docker exec -it ollama ollama run llama2

更多模型可以在 Ollama 模型库中找到。

加入 Ollama 的 Discord，与其他社区成员、维护者和贡献者聊天。

在 Twitter 上关注 Ollama 以获取更新。