orca-mini:7b-v3-q2_K

Orca Mini 是一个基于 Llama 和 Llama 2 模型，使用 Orca Style 数据集训练的模型，该数据集的创建方法参考了论文《Orca: 从 GPT-4 复杂解释追踪中进行渐进式学习》中定义的方法。目前有两个变体可用。最初的 Orca Mini 基于 Llama，参数大小有 30 亿、70 亿和 130 亿，而 v3 基于 Llama 2，参数大小有 70 亿、130 亿和 700 亿。

用法

CLI

打开终端并运行 ollama run orca-mini

API

示例

  curl -X POST http://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'

内存需求

7b 模型通常至少需要 8GB 内存
13b 模型通常至少需要 16GB 内存
70b 模型通常至少需要 64GB 内存

参考

3b 参数原始来源： Pankaj Mathur

7b 参数原始来源： Pankaj Mathur

13b 参数原始来源： Pankaj Mathur

Ollama 上的 Orca Mini v3 来源

13b 参数原始来源： Pankaj Mathur

70b 参数来源： Pankaj Mathur

Orca: 从 GPT-4 复杂解释追踪中进行渐进式学习

Orca Mini is a Llama and Llama 2 model trained on Orca Style datasets created using the approaches defined in the paper, Orca: Progressive Learning from Complex Explanation Traces of GPT-4. There are two variations available. The original Orca Mini based on Llama in 3, 7, and 13 billion parameter sizes, and v3 based on Llama 2 in 7, 13, and 70 billion parameter sizes.

## Usage

### CLI

Open the terminal and run `ollama run orca-mini`

### API

Example:

```bash
  curl -X POST http://127.0.0.1:11434/api/generate -d '{
    "model": "orca-mini",
    "prompt":"Why is the sky blue?"
   }'
  ```

## Memory requirements

- 7b models generally require at least 8GB of RAM
- 13b models generally require at least 16GB of RAM
- 70b models generally require at least 64GB of RAM

## Reference

3b parameters original source:
 [Pankaj Mathur](http://hugging-face.cn/psmathur/orca_mini_3b)

7b parameters original source:
 [Pankaj Mathur](http://hugging-face.cn/psmathur/orca_mini_7b)

13b parameters original source:
 [Pankaj Mathur](http://hugging-face.cn/psmathur/orca_mini_13b)

**Orca Mini v3 source on Ollama**

13b parameters original source:
 [Pankaj Mathur](http://hugging-face.cn/psmathur/orca_mini_v3_13b)

70b parameters source:
 [Pankaj Mathur](http://hugging-face.cn/psmathur/orca_mini_v3_70b)

[Orca: Progressive Learning from Complex Explanation Traces of GPT-4](https://arxiv.org/abs/2306.02707 )

粘贴、拖放或点击上传图片 (.png, .jpeg, .jpg, .svg, .gif)