使用 Bespoke-Minicheck 减少幻觉
2024年9月18日
Bespoke-Minicheck 是由 Bespoke Labs 开发的一种新的基于事实依据的检查模型,现已在 Ollama 中提供。它可以对其他模型生成的响应进行事实检查,以检测和减少幻觉。
工作原理
Bespoke-Minicheck 的工作原理是获取事实信息的块(即文档)和生成的输出(即声明),并根据文档验证声明。如果文档支持该声明,模型将输出是。否则,它将输出否。
RAG 用例
Bespoke-Minicheck 在构建检索增强生成 (RAG) 应用程序时尤其强大,因为它可以用来确保响应基于提供给 LLM 的检索上下文。这可以作为后处理步骤来检测幻觉。
有关如何在 Ollama 中使用 Bespoke-Minicheck 的 RAG 应用程序示例,请参阅 GitHub 上的 RAG 示例。
开始使用
首先下载并运行模型
ollama run bespoke-minicheck
接下来,按如下方式编写提示,同时提供源文档和声明
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are preparing for an examination.
由于源信息支持该声明,模型将输出是。
Yes
但是,当声明不受文档支持时,模型将响应否
Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are out on vacation
No
有关如何使用 Bespoke-Minicheck 对照源信息使用 Ollama 进行事实检查的示例,请参阅 GitHub 上的事实检查示例。