现有隐私基准多关注显式标识符或属性推断，忽略了孤立弱但联合可揭示隐私的准证据组。该工作提出 QuasiLeak-Bench，用逆向构建流水线生成可靠标注，评估检测器能否恢复完整准证据组并按披露策略标记违规。实验显示现有检测器迁移差、本地模型远落后于闭源模型，但微调 4B 模型可超越最强提示模型，表明任务可学习。

#llm #privacy

已过时译

行业落地Google AI Blog4 天前

HEAL: A framework for health equity assessment of machine learning performance

Google Research 在《柳叶刀》子刊提出 HEAL 框架，用四步法量化评估机器学习医疗工具是否公平：先定义健康不平等因素与指标，再量化既有健康差距，然后分亚群测模型表现，最后计算 HEAL 指标衡量模型性能与健康差距的反相关性，并以皮肤科 AI 为案例验证。

#healthcare #fairness

已过时译

大模型arXiv cs.LG4 天前

Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

研究指出，RLVR 在域外任务（如数学训练后 MMLU 提升）上的增益很大程度是答案格式变化而非能力提升。用公开答案提取器评分时，82% 的域外选择题增益在改用能读取文本或 \boxed{} 的提取器后消失：RL 只是把答案移进提取器优先查找的框里。该发现提醒评测结果依赖提取器，可用二次评分低成本验证。

#rlvr #evaluation

已过时译

AgentarXiv cs.CL4 天前

ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets

ToolBottleneckBench 是一个评测工具型 Agent 的基准，在固定 harness 预算下分别施加工具目录、可见菜单、认证流程、返回编码四类压力，并精确记录首个未满足义务与触发限制。发现可见菜单是唯一对模型造成大惩罚的压力，且与完成上限截断相关；多数失败源于 harness 限制。值得关注的是它揭示 Agent 表现受运行框架预算影响，需一并报告。

#agent #tool-use

已过时译

大模型arXiv cs.CL4 天前

Can LLMs Anticipate Their Cruxes?

论文研究如何从语言模型输出中提取影响决策的关键子问题（cruxes），提出三种成本递增的策略：先验询问、单次推理后提取、多次采样对比提取。实验发现前两种廉价方法均不足以识别完整关键因素，高 stakes 决策仍需多次采样，但可用 reranker 将成本降至 judge 的约 1/86。

#llm #interpretability

已过时译

大模型arXiv cs.CL4 天前

One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

该论文提出用池化选择率标准差（pooled SD）统一衡量多选题的选项偏差，并将其分解为翻转率与位置偏斜两个无标签因子。在41个检查点和12个基准上，先验校正主要降低位置偏斜，顺序聚合主要降低翻转率，但聚合可能让模型稳定选错。建议同时报告两个因子以区分缓解手段的效果。

#llm #evaluation

已过时译

AgentarXiv cs.CL4 天前

Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents

该研究系统评估语义层、编排与压缩三种上下文工程技术在数据智能体中的效果，覆盖7个LLM、5个基准的1514个长周期任务。发现无CET的智能体分为调查者、过早作答者和早停者三类，CET仅对匹配的行为类型提升准确率，对调查者反而有害，为按行为选择CET提供指导。

#llm #agent

已过时译

大模型arXiv cs.CL4 天前

Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog

论文用他加禄语中缀（如 s-um-ulat）做对照实验，构建 MorphAustro-Tok 分词器把词根作为连续单元输出，并与 BPE 及打乱语素的对照比较。结果显示形态正确性本身在 33 次运行中未带来可检测增益，收益主要来自词根连续化而非语言学正确的切分，对类型学感知分词器的动机提出质疑。

#tokenization #nlp

已过时译

行业落地arXiv cs.CL4 天前

PEDBench: Can Speech Models Detect Phonetic Errors?

PEDBench 是首个音素级错误检测基准，涵盖儿童真实发音错误、演员脚本错误和 TTS 合成错误三类数据，由两名语音标注员校验。评测 13 个主流语音模型发现其检测精度低、误报率高，即使受控条件也不可靠；基于合成数据微调的语音语言模型在词级 PED 上超越商业与开源基线，但仍存在仿真到真实的域差距。

#speech #benchmark

已过时译

大模型arXiv cs.CL4 天前

APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models

APRiL 是一个面向中文社会意识的开源评测基准，含 2196 个评测实例、六大类别与两项任务：社会情境分析与社会意识回应。它用实例专属评分标准弥补现有基准覆盖面窄的问题，并在 12 个模型上发现「理解强、回应弱」的稳定差距，为中文社交场景下的模型评估提供系统资源。

#benchmark #llm

已过时译

RAG 与数据arXiv cs.CL4 天前

Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM

论文对比非生成式判定模型与前沿LLM在RAG声明验证上的表现：两者准确率统计上无差异，但成本相差187倍。关键发现是准确率相同掩盖了错误结构差异——廉价模型放行更多无支撑声明。基于置信度的级联路由可降本，但随机升级对照实验表明节省来自升级比例而非置信度选择。

#rag #llm

已过时译

大模型arXiv cs.CL4 天前

Context Injection and Long-Horizon Reliability: Separating Duplicate Recognition, Local Processing, and Counter Tracking

该论文将长程任务失败拆解为三个可逐步评分的组件：重复识别、局部处理和计数器追踪，在400步账本任务中测试Qwen3-8B。发现重复识别错误在后期上升，而插入无关内容会使计数器在全部种子中失败，但外部精确状态提醒可在一两步内纠正。揭示了聚合错误分类会掩盖组件差异。

#llm #long-context

已过时译

AgentarXiv cs.AI4 天前

Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents

论文研究工具型语言智能体的"选择性撤回"能力：在证据变化或授权撤销时暂停受影响动作、保留有效工作。用 Qwen2.5-3B 的四个 LoRA 检查点在合成环境 NAQD-Env 上做监督微调对比，发现微调后决策一致性与撤回召回率显著优于基线，但存在规则级失败（如错误撤回、禁止组合收窄不足）。贡献在于提出检测聚合指标掩盖的规则级退化的方法。

#agent #llm

已过时译