Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning

arXiv:2610.20836v1 公告类型：新

摘要：评估器引导的推理在每一步都呈现一个局部控制问题：信任当前答案、返回回退方案，还是投入更多推理。我们将这一选择形式化为一个计算感知的三动作控制器，通过预测的答案成功率对终止动作打分，通过基于 rollout 的延续成功代理指标对扩展动作打分，并显式计入计算成本。局部动作差距分析刻画了分数误差何时会改变决策，而期望遗憾界则考虑了实际扩展路径上的误差。在此分析的指导下，我们学习并校准动作特定的置信度估计，并对模糊决策施加局部不确定性惩罚。在留出的宽度扩展与修订任务上，该控制器相比经校准选择的固定策略提升了观测效用，同时将归一化在线计算分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上，两种设置下的计算均低于拟合的 Q，而效用差异较小且方向不一。这些结果将评估器引导的推理界定为不确定性下的资源分配，而非一个统一更强的推理器。