行业
PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews
提出 ReviewFact 基准与 PremiseCheck 框架,用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提,再用廉价判定模型逐条对照论文核验,在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。
行业落地·arXiv cs.CL·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
提出 ReviewFact 基准与 PremiseCheck 框架,用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提,再用廉价判定模型逐条对照论文核验,在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。
现有资料不足以回答「ReviewFact 与现有审稿事实性核查数据集(如相关 peer review 基准)相比有何差异」这一问题——资料中只描述了 ReviewFact 自身的构建与评测方式,没有给出任何与其它审稿事实性核查数据集或 peer review 基准的对比信息。 资料中能确认的部分:
关于「与现有数据集相比的差异」(如任务定义、标注粒度、领域覆盖、规模、评测指标等维度的异同),资料未提供任何可比对象的信息,因此无法给出结论。