nemotron-mini:4b-instruct-q3_K_L - Ollama 框架

nemotron-mini

NVIDIA 推出的商业友好型小型语言模型，针对角色扮演、RAG QA 和函数调用进行了优化。

工具 4b

59.3K 下载量更新于 4 个月前

更新于 4 个月前

4 个月前

899020cd5b1e · 2.5GB

parameters4.19B

quantizationQ3_K_L

{{- if (or .Tools .System) }}<extra_id_0>System {{ if .System }}{{ .System }} {{ end }} {{- if .To

NVIDIA AI Foundation Models Community License Agreement IMPORTANT NOTICE – PLEASE READ AND AGREE B

Readme

Nemotron-Mini-4B-Instruct 是一个用于生成角色扮演、检索增强生成和函数调用响应的模型。它是一个小型语言模型 (SLM)，通过蒸馏、剪枝和量化进行了优化，以实现速度和设备端部署。

此指令模型针对英语的角色扮演、RAG QA 和函数调用进行了优化。它支持 4,096 个 tokens 的上下文长度。此模型已准备好用于商业用途。

参考