Can LLMs Anticipate Their Cruxes?

arXiv:2610.21006v1 公告类型：新

摘要：要利用语言模型帮助我们做出决策，我们希望理解语言模型输出背后的理据。原则上，语言模型会在其文本输出中给出理据。然而，文本体量之大使得这在实践中难以使用。在本文中，我们关注的是提取那些促使模型推荐某一行动而非另一行动的关键分歧点（crux）。我们将关键分歧点视为模型多次采样（rollout）之间存在分歧的子问题，改变其取值可能会改变结论。因此，关键分歧点是模型采样分布的一种属性，而非任何单次采样的属性。我们考虑了三种计算成本递增的策略。第一，我们直接让模型先验地（a priori）识别一项决策的关键分歧点会是什么。第二，我们让模型实际经历生成回答的过程，然后提取其推理过程中出现的关键分歧点。最后，我们生成大量回答，并通过比较各次采样之间的推理来提取关键分歧点。我们通过低成本调用重排序器（reranker）使最后这一过程在计算上可行，估计其计算量比评判器（judge）少 86 倍。随后我们进行了广泛的实证评估，以检验计算成本低廉的方案是否足够。结论是不够。跨领域和跨模型，我们发现模型对关键分歧点的先验评估与事后（a posteriori）实际被识别为重要的因素之间几乎没有关联。使用单次采样有所帮助，但仍不足以识别完整的关键分歧点集合。因此，对于高风险决策（以及理解语言模型决策的空间），多次采样的流程是不可回避的。