使用 Bespoke-Minicheck 减少幻觉
2024 年 9 月 18 日
Bespoke-Minicheck 是由 Bespoke Labs 开发的新型基于事实的真实性检查模型，现已在 Ollama 中提供。它可以对其他模型生成的响应进行事实核查，以检测和减少幻觉。
工作原理
Bespoke-Minicheck 通过获取事实信息块（即文档）和生成的输出（即声明）并根据文档验证声明来工作。如果文档支持声明，则模型将输出是。否则，它将输出否。
RAG 用例
在构建检索增强生成 (RAG) 应用程序时，Bespoke-Minicheck 尤其强大，因为它可以用来确保响应以提供给 LLM 的检索上下文为基础。这可以通过后处理步骤来完成，以检测幻觉。
有关如何在使用 Ollama 的 RAG 应用程序中使用 Bespoke-Minicheck 的示例，请参阅 GitHub 上的 RAG 示例。
入门
首先下载并运行模型。
ollama run bespoke-minicheck
接下来，按如下方式编写提示，提供源文档和声明。
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are preparing for an examination.
由于源信息支持声明，因此模型将输出是。
Yes
但是，当声明不受文档支持时，模型将响应否。
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are out on vacation
No
有关如何使用 Bespoke-Minicheck 使用 Ollama 对源信息进行声明事实核查的示例，请参阅 GitHub 上的事实核查示例。