Ollama 现在可以作为官方 Docker 镜像使用
2023 年 10 月 5 日
Ollama 现在可以作为官方 Docker 镜像使用
我们很高兴地宣布,Ollama 现在可以作为 Docker 赞助的官方 开源镜像 使用,从而可以更轻松地使用 Docker 容器启动和运行大型语言模型。
使用 Ollama,您与大型语言模型的所有交互都在本地进行,而无需将私人数据发送给第三方服务。
在 Mac 上
Ollama 处理使用 GPU 加速运行模型。 它提供了一个简单的 CLI 以及一个 REST API,用于与您的应用程序交互。
要开始使用,只需下载并安装 Ollama。
在 Mac 上,请在 Docker 容器外部将 Ollama 作为独立应用程序运行,因为 Docker Desktop 不支持 GPU。
在 Linux 上
Ollama 可以在 Docker 容器内使用 GPU 加速运行,适用于 Nvidia GPU。
要开始使用 Docker 镜像,请使用以下命令。
仅 CPU
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Nvidia GPU
- 安装 Nvidia 容器工具包。
- 在 Docker 容器内运行 Ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
运行模型
现在您可以在容器内运行像 Llama 2 这样的模型。
docker exec -it ollama ollama run llama2
更多模型可以在 Ollama 模型库中找到。
加入 Ollama 的 Discord 与其他社区成员、维护者和贡献者聊天。
在 Twitter 上关注 Ollama 以获取更新。