现有隐私基准多关注显式标识符或属性推断，忽略了孤立弱但联合可揭示隐私的准证据组。该工作提出 QuasiLeak-Bench，用逆向构建流水线生成可靠标注，评估检测器能否恢复完整准证据组并按披露策略标记违规。实验显示现有检测器迁移差、本地模型远落后于闭源模型，但微调 4B 模型可超越最强提示模型，表明任务可学习。

#llm #privacy

已过时译

大模型Google AI Blog4 天前

Talk like a graph: Encoding graphs for large language models

Google Research 在 ICLR 2024 提出将图结构编码为文本以提升 LLM 图推理能力，并发布 GraphQA 基准。研究发现编码方式、任务类型和图结构会影响性能，选对编码方法可使 LLM 图任务表现提升高达 60%。

#llm #graph

已过时译

具身智能arXiv cs.RO4 天前

Evo-DexBench: Benchmarking Generalization across Related Tasks for Dexterous Manipulation

Evo-DexBench 是面向灵巧操作策略泛化能力的新基准，基于 Core-Gen 原则控制源任务相关性与目标任务样本量，含 6 类功能族 30 个任务、1248 条多模态演示。实验显示最优方法平均成功率仅 38.5%，揭示现有方法难以迁移功能交互知识，为评估跨相关任务泛化提供标准化平台。

#robotics #dexterous-manipulation

已过时译

大模型arXiv cs.LG4 天前

Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

研究指出，RLVR 在域外任务（如数学训练后 MMLU 提升）上的增益很大程度是答案格式变化而非能力提升。用公开答案提取器评分时，82% 的域外选择题增益在改用能读取文本或 \boxed{} 的提取器后消失：RL 只是把答案移进提取器优先查找的框里。该发现提醒评测结果依赖提取器，可用二次评分低成本验证。

#rlvr #evaluation

已过时译

AgentarXiv cs.CL4 天前

ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets

ToolBottleneckBench 是一个评测工具型 Agent 的基准，在固定 harness 预算下分别施加工具目录、可见菜单、认证流程、返回编码四类压力，并精确记录首个未满足义务与触发限制。发现可见菜单是唯一对模型造成大惩罚的压力，且与完成上限截断相关；多数失败源于 harness 限制。值得关注的是它揭示 Agent 表现受运行框架预算影响，需一并报告。

#agent #tool-use

已过时译

行业落地arXiv cs.CL4 天前

PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。

#fact-checking #peer-review

已过时译

大模型arXiv cs.CL4 天前

One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

该论文提出用池化选择率标准差（pooled SD）统一衡量多选题的选项偏差，并将其分解为翻转率与位置偏斜两个无标签因子。在41个检查点和12个基准上，先验校正主要降低位置偏斜，顺序聚合主要降低翻转率，但聚合可能让模型稳定选错。建议同时报告两个因子以区分缓解手段的效果。

#llm #evaluation

已过时译

行业落地arXiv cs.CL4 天前

PEDBench: Can Speech Models Detect Phonetic Errors?

PEDBench 是首个音素级错误检测基准，涵盖儿童真实发音错误、演员脚本错误和 TTS 合成错误三类数据，由两名语音标注员校验。评测 13 个主流语音模型发现其检测精度低、误报率高，即使受控条件也不可靠；基于合成数据微调的语音语言模型在词级 PED 上超越商业与开源基线，但仍存在仿真到真实的域差距。

#speech #benchmark

已过时译

大模型arXiv cs.CL4 天前

APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models

APRiL 是一个面向中文社会意识的开源评测基准，含 2196 个评测实例、六大类别与两项任务：社会情境分析与社会意识回应。它用实例专属评分标准弥补现有基准覆盖面窄的问题，并在 12 个模型上发现「理解强、回应弱」的稳定差距，为中文社交场景下的模型评估提供系统资源。

#benchmark #llm

已过时译

大模型arXiv cs.CL4 天前

Verdict: Encode Once, Decide Many

Verdict-MQ 提出一种共享状态编码器：对同一份输入只编码一次，用结构化注意力掩码让状态表示与问题无关、问题之间互不影响、选项顺序无关，从而一次回答多个类型化决策问题。395M 模型在类型化决策基准上优于 421M 专用模型，但 RACE/BoolQ 上不及微调基线。

#encoder #attention

已过时译

行业落地arXiv cs.AI4 天前

Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation

该论文用统计框架评估六种深度强化学习（PPO/A2C/DQN，含/不含动作掩码）在真实 Slurm HPC 作业调度中的表现，并加入掩码随机对照。结果显示同构负载下掩码DRL未显著优于对照，异构负载下MaskablePPO三项指标均改善，最大有界减速比LCFS低22%。强调需用掩码随机基线区分'能跑完'与真实调度收益。

#reinforcement-learning #hpc

已过时译

AgentarXiv cs.AI4 天前

MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

MAI-Gym 是面向 GUI 智能体的开源一体化平台，统一移动端、桌面与网页环境的评测、数据采集和在线 RL 训练，支持万级并行环境与自动合成可验证任务。其训练的 9B 模型在 MobileWorld 与 OSWorld 上达开源同规模最优，且模拟应用训练可迁移到真机，显著降低 GUI 智能体训练成本。

#gui-agent #reinforcement-learning

已过时译

大模型arXiv cs.AI4 天前

When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。

#reinforcement-learning #world-models

已过时译

AgentarXiv cs.AI4 天前