Ollama 现已推出官方 Docker 镜像

我们很高兴地宣布 Ollama 现在已提供官方 Docker 赞助的开源镜像，这使得使用 Docker 容器运行大型语言模型变得更加简单。

使用 Ollama，您与大型语言模型的所有交互都在本地进行，无需将私人数据发送到第三方服务。

在 Mac 上

Ollama 处理使用 GPU 加速运行模型。它提供简单的 CLI 和 REST API，用于与您的应用程序交互。

要开始使用，只需下载并安装 Ollama。

在 Mac 上，请将 Ollama 作为独立应用程序运行，不要在 Docker 容器中运行，因为 Docker Desktop 不支持 GPU。

在 Linux 上

Ollama 可以在 Docker 容器中为 Nvidia GPU 提供 GPU 加速。

要开始使用 Docker 镜像，请使用以下命令。

仅 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安装Nvidia 容器工具包。
2. 在 Docker 容器中运行 Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在，您可以像在容器内运行 Llama 2 模型一样。

docker exec -it ollama ollama run llama2

更多模型可在Ollama 模型库中找到。

加入 Ollama 的Discord，与其他社区成员、维护者和贡献者交流。

关注Ollama 的 Twitter 获取更新。