Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents

arXiv:2610.21045v1 公告类型：新

摘要：使用工具的语言智能体必须在证据发生变化或权限被撤销时修改已准备好的动作。选择性撤回是指暂停受影响的动作、保留有支撑的工作，并且仅在充分修复后才恢复。我们在 NAQD-Env 中研究监督微调，这是一个具有显式依赖关系和确定性参考策略的合成环境。Qwen2.5-3B-Instruct 的四个 LoRA 检查点比较了原始课程与增强课程，后者在三种系统提示词框架下具有相同的视图和目标。三个指令微调基线和全部四个检查点在三类推理提示词下，于全新验证案例、留出依赖族和留出结构组合上进行评估。在 naqd 提示词下，SFT 检查点达到 0.77-0.92 的决策一致性和 0.46-0.86 的撤回召回率，而基线为 0.45-0.63 且至多 0.06。规则级诊断对这些增益提出了限定。原始课程检查点错误撤回了 34 个仍有替代支撑存续的动作中的 26 个；增强检查点仅撤回 0-1 个。相反，所有 SFT 检查点缩小禁止组合的频率均低于 7B 和 8B 基线，而这一情况在两个课程中均未出现。委托结果显示更多撤回，但对独立授权动作的保留更差，且全部四个检查点都遗漏了有效事件报告。框架对比在不同指标和数据划分上存在差异，未能确立可复现的优势或等价性。每个实验臂仅一次训练运行、课程属性联合变更、先前的评估暴露以及基线-SFT 量化差异限制了因果归因。本文的贡献是一种检测聚合准确率可能掩盖的规则特定回归的方法，而非证明仅靠微调即可确保智能体安全。