CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models

arXiv:2610.20642v1 公告类型：新

摘要：近期的潜在推理方法通过用连续软向量嵌入或隐藏状态替代采样得到的 token，超越了离散的思维链（CoT），从而实现了更丰富的中间表示并保留了备选推理路径。然而，潜在推理的需求在不同解码步骤之间并不相同：高置信度的预测更适合离散的确定选择，而模糊的步骤则受益于保留多个可能的备选方案。现有方法通常通过全局软激活或基于不确定性阈值的硬切换来处理这种差异，将潜在干预视为全有或全无的决策，而非持续调整其强度。为解决这一局限，我们提出 Competitive Token Selection（CoTS），这是一个无需训练的框架，它将潜在干预从二值模式选择重新定义为 token 级别的连续分配。CoTS 利用两个最可能候选之间的概率竞争，在每一步推理中动态平衡离散确定与软探索。第二候选代表了模型偏好续写的最强替代方案，因此两者之间的分离程度直接反映了当前离散选择的稳定性。当一个候选明显占优时，CoTS 使表示接近采样得到的离散 token，以保持稳定的推理轨迹；随着竞争加剧，它增加软表示的贡献以保留可能的备选方案。这种基于竞争的分配既不需要手动调整切换阈值，也不需要混合系数，且不引入额外的前向传播。在六个推理基准测试上的实验表明，CoTS 始终优于标准 CoT 和 SOTA 的无需训练潜在推理方法。我们的代码可在 https://github.com/OkinoYu/CoTSReasoning 获取。