基于Nous Research的Llama和Llama 2的通用模型。

7b 13b

78K 13个月前

自述文件

Nous Hermes由Nous Research发布。这里有两个主要版本,一个基于Llama的13B参数模型,以及基于Llama 2的7B和13B参数模型。它们都是使用相同数据集训练的通用模型。

开始使用Nous Hermes

下面示例中使用的模型是Nous Hermes Llama 2模型,具有7b个参数,这是一个通用的聊天模型。

API

  1. 启动Ollama服务器 (运行ollama serve)
  2. 运行模型
curl -X POST https://127.0.0.1:11434/api/generate -d '{
  "model": "nous-hermes",
  "prompt":"Explain the process of how a refrigerator works to keep the contents inside cold."
 }'

CLI

  1. 安装Ollama
  2. 打开终端并运行ollama run nous-hermes

注意:如果模型尚未下载,ollama run命令会执行ollama pull。要下载模型而不运行它,请使用ollama pull nous-hermes

内存需求

  • 7b模型通常至少需要8GB内存
  • 13b模型通常至少需要16GB内存

如果在更高的量化级别遇到问题,请尝试使用q4模型或关闭任何其他正在使用大量内存的程序。

模型变体

Ollama提供了许多基于官方模型量化的Nous Hermes模型变体,以便在本地良好运行。

**Nous Hermes Llama 2** 是基于原始Llama模型的原始Nous Hermes模型。

示例:ollama run nous-hermes

**Nous Hermes Llama 1** 是基于原始Llama模型的原始Nous Hermes模型。

示例:ollama run nous-hermes:13b-q4_0

默认情况下,Ollama使用4位量化。要尝试其他量化级别,请尝试其他标签。q后面的数字代表用于量化的位数(即q4表示4位量化)。数字越高,模型越准确,但运行速度越慢,需要的内存也越多。

别名
latest, 7b, 7b-llama2, 7b-llama2-q4_0
13b, 13b-llama2, 13b-llama2-q4_0

模型来源

Ollama上的Nous Hermes Llama 2来源

7b参数原始来源:Nous Research

13b参数原始来源:Nous Research

Ollama上的Nous Hermes Llama 1来源

13b参数原始来源:Nous Research