行业落地摘要可能已过时中文全文附件 2arXiv cs.CL · 2026-10-17 · 4 天前
PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews
中文摘要
由模型生成 · 人工抽检提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。
全文
已译中文arXiv:2610.21046v1 公告类型：新
摘要：同行评审正因投稿量的增长而承受压力，而由人类或AI撰写的评审意见可能会错误陈述论文的内容。我们提出ReviewFact，这是一个基准测试，在NLP、机器学习和自然科学领域以统一定义标注评审意见中的此类事实性错误，并在衡量准确率的同时衡量成本与延迟。前沿LLM能够很好地核查意见，但每次核查都必须通读整篇论文；而廉价的决策模型——用于判断某陈述在文本中是否成立——在面对混合了若干隐含断言的整体意见时远远不够。PremiseCheck是一个将两者结合的框架。LLM在不阅读论文的情况下将每条意见改写为显式前提，再由决策模型针对论文核查每个前提。当每条意见单独核查时，PremiseCheck在全部三个领域达到与GPT-5.5相当的准确率，成本约为其一半；在NLP评审上，成本为其四分之一，延迟不到其一半。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件有效期判断
起 2026-10-16止 2026-04-20模型置信度 60%
正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。