使用Bespoke-Minicheck减少幻觉
2024年9月18日
Bespoke-Minicheck是由Bespoke Labs开发的一种新的基于事实的真实性检查模型，现已在Ollama中可用。它可以检查其他模型生成的回复，以检测和减少幻觉。
工作原理
Bespoke-Minicheck的工作原理是获取事实信息块（即文档）和生成的输出（即断言），并根据文档验证断言。如果文档支持断言，模型将输出是。否则，它将输出否。
RAG用例
在构建检索增强生成 (RAG) 应用程序时，Bespoke-Minicheck 特别强大，因为它可以用于确保响应基于提供给 LLMs 的检索上下文。这可以作为后处理步骤来检测幻觉。
有关如何在使用 Ollama 的 RAG 应用程序中使用 Bespoke-Minicheck 的示例，请参阅GitHub 上的 RAG 示例。
入门
首先下载并运行模型。
ollama run bespoke-minicheck
接下来，按如下所示编写提示，提供源文档和断言。
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are preparing for an examination.
由于源信息支持断言，模型将输出是。
Yes
但是，当文档不支持断言时，模型将以否响应。
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are out on vacation
No
有关如何使用 Bespoke-Minicheck 使用 Ollama 对源信息进行事实检查的示例，请参阅GitHub 上的事实检查示例。