One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

arXiv:2610.20993v1 公告类型：新

摘要：重新排列多项选择选项可能会改变模型的答案，这一效应被分别作为选择偏差（对特定选项字母的偏好）和顺序敏感性（答案随选项排序变化而变化）加以研究。我们通过合并选择率标准差（pooled SD）将这两种视角联系起来，该指标衡量选项字母在不同问题和不同排序下被选择的不均匀程度。当每道题的每个选项在每个位置上出现的次数相同时，pooled SD 恰好是两个无标签因子的乘积：翻转率和位置偏斜。翻转率是所选选项随排序变化而改变的问题所占的比例；位置偏斜是这些问题中选项字母选择率的标准差。在 41 个检查点和 12 个基准测试上，翻转率与准确率和输出不确定性相关，而位置偏斜与估计的选项符号先验相关。针对选择偏差的先验校正主要降低位置偏斜。将每种排序与其反转排序聚合，是一种针对顺序敏感性的缓解措施，主要降低翻转率。两者在降低正确答案字母间准确率范围方面的幅度相近，但聚合留下的模型排名反转更少。在聚合之前应用先验校正会同时降低两个因子，并进一步收窄这一准确率范围。然而，聚合部分是通过让问题落在同一个错误选项上来降低翻转率的。因此，我们建议同时报告这两个因子以区分不同缓解措施的效果，并同时报告准确率以区分稳定性与正确性。