Llama 2 是一个基础语言模型系列,参数量从 70 亿到 700 亿不等。

70亿 130亿 700亿

250万 11个月前

自述文件

Llama 2 由 Meta Platforms, Inc. 发布。该模型在 2 万亿个 token 上训练,默认支持 4096 的上下文长度。Llama 2 Chat 模型在超过 100 万个人工标注上进行了微调,适用于聊天。

命令行界面 (CLI)

打开终端并运行 `ollama run llama2`

API

使用 curl 的示例

curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
 }'

API 文档

内存需求

  • 70亿参数模型通常至少需要 8GB 内存
  • 130亿参数模型通常至少需要 16GB 内存
  • 700亿参数模型通常至少需要 64GB 内存

如果您在使用更高量化级别的模型时遇到问题,请尝试使用 q4 模型或关闭其他正在使用大量内存的程序。

模型变体

**对话型 (Chat)** 模型针对聊天/对话用例进行了微调。这些是 Ollama 中的默认模型,以及在标签页中标有“-chat”标签的模型。

示例:`ollama run llama2`

**预训练型 (Pre-trained)** 模型没有进行对话微调。这些模型在标签页中标有“-text”标签。

示例:`ollama run llama2:text`

默认情况下,Ollama 使用 4 位量化。要尝试其他量化级别,请尝试其他标签。q 后面的数字表示用于量化的位数(例如,q4 表示 4 位量化)。数字越大,模型越准确,但运行速度越慢,所需的内存也越多。

参考文献

Llama 2:开放的基础和微调对话模型

Meta 的 Hugging Face 代码库