Ollama 现在可以作为官方 Docker 镜像使用

我们很高兴地宣布，Ollama 现在可以作为 Docker 赞助的官方 开源镜像 使用，从而可以更轻松地使用 Docker 容器启动和运行大型语言模型。

使用 Ollama，您与大型语言模型的所有交互都在本地进行，而无需将私人数据发送给第三方服务。

在 Mac 上

Ollama 处理使用 GPU 加速运行模型。 它提供了一个简单的 CLI 以及一个 REST API，用于与您的应用程序交互。

要开始使用，只需下载并安装 Ollama。

在 Mac 上，请在 Docker 容器外部将 Ollama 作为独立应用程序运行，因为 Docker Desktop 不支持 GPU。

在 Linux 上

Ollama 可以在 Docker 容器内使用 GPU 加速运行，适用于 Nvidia GPU。

要开始使用 Docker 镜像，请使用以下命令。

仅 CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安装 Nvidia 容器工具包。
2. 在 Docker 容器内运行 Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在您可以在容器内运行像 Llama 2 这样的模型。

docker exec -it ollama ollama run llama2

更多模型可以在 Ollama 模型库中找到。

加入 Ollama 的 Discord 与其他社区成员、维护者和贡献者聊天。

在 Twitter 上关注 Ollama 以获取更新。