AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以完整回答 ReviewFact 基准的规模、构建方式和标注质量，因为唯一可用资料1只提供了摘要级信息，未给出具体数字或标注流程细节。资料中能确认的部分如下：

定位与用途：ReviewFact 是论文1提出的一个基准，与 PremiseCheck 框架配套，用于检测人类或 AI 审稿意见中对论文内容的事实性误述1。
覆盖领域：该基准覆盖 NLP、机器学习与自然科学三个领域1。
构建思路（框架层面）：PremiseCheck 的做法是让 LLM 把审稿评论改写为显式前提，再用轻量判定模型逐条对照论文核验1。这属于方法框架的描述，摘要未说明 ReviewFact 本身的样本来源、标注流程或规模。
规模与标注质量：摘要未给出样本条数、领域分布比例、标注者数量、一致性指标（如 Cohen's kappa）等任何量化信息1，因此无法评估其规模与标注质量。
性能参照：该框架在三个领域以约一半成本达到前沿 LLM 的准确率1，但这是框架效率与准确率的结论，不等同于基准本身的标注质量。

如需规模与标注细节，建议查阅论文全文的数据集章节与标注协议部分。

继续追问

1 条

AI 答案正在检索与综合…

1 条 · 点击可看原文全文与中文译文

行业

提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。

行业落地·arXiv cs.CL·5 天前