由 Bespoke Labs 开发的先进的事实核查模型。

7b

2.1万 4个月前

自述文件

这是一个由 Bespoke Labs 开发的基于事实的真实性检查模型。

该模型以文档(文本)和句子作为输入,并确定该句子是否得到文档的支持。为了核实多句声明的事实性,应首先将声明分解成句子。除非文档超过 32K 个 tokens,否则无需分块。

bespoke-minicheck-howitworks.png

尽管 Bespoke-MiniCheck 尺寸很小,但它仍是 SOTA 事实核查模型。

用法

提示模板如下

Document: {document}
Claim: {claim}

响应将为 YesNo

示例

提示

Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are preparing for an examination.

响应

Yes

提示

Document: A group of students gather in the school library to study for their upcoming final exams.
Claim: The students are on vacation.

响应

No

模型性能

performance.png

这些模型的性能在我们新收集的基准(我们的模型在训练期间未见过)LLM-AggreFact 上进行评估,该基准来自 11 个最近的人工注释数据集,涉及事实核查和 LLM 生成的基础。尽管 Bespoke-MiniCheck-7B 尺寸很小,但它仍是 SOTA 事实核查模型。

参考

网站

论文

LLM-AggreFact 排行榜