Mistral AI与NVIDIA合作开发的先进12B模型,上下文长度达128k。

工具 12b

646K 4个月前

自述文件

Mistral NeMo 是一个与 NVIDIA 合作构建的 12B 模型。Mistral NeMo 提供高达 128k 个 token 的大型上下文窗口。其推理能力、世界知识和编码精度在其规模类别中处于最先进水平。由于它依赖于标准架构,因此 Mistral NeMo 易于使用,并且可以在任何使用 Mistral 7B 的系统中直接替换。

nemo-base-performance.png

参考

博客

Hugging Face