Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent Adaptation

arXiv:2610.20652v1 公告类型：新

摘要：常驻虚拟助手越来越多地通过少样本微调（例如 LoRA）在设备端针对新的用户特定命令进行个性化，但这种适配几乎只评估它是否学会了新命令，而不评估助手是否仍能识别与其任何意图都不匹配的输入——即超出范围（OOS）拒绝问题。我们表明，朴素的少样本 LoRA 个性化会在五个公开意图分类基准测试中的每一个上降低 OOS 拒绝的 AUROC（ROC 曲线下面积）（平均下降 $0.055$--$0.258$，每个基准五次随机种子），而范围内准确率保持不变。一项评分器不变性检查表明，这一下降的一部分是标准置信度评分器自身在适配下校准失准所造成的假象，不过在任意评分器下仍存在一个较小的真实效应；我们将其追溯到已知意图区域周围向量嵌入间隔的可测量收缩（合并 Spearman rho=0.61$）。一种部署成本低廉的修复方法是用 Mahalanobis 距离而非 softmax 置信度来评分拒绝，无需额外训练/重训练，在 5 个数据集中的 3 个上恢复了大部分损失的质量且无准确率代价，优于另外两个 OOD 评分基线，并可在 shot 数量、LoRA rank 和第二个基础编码器上泛化。我们如实报告该修复方法的不足之处，并发布所有代码以保证可复现性。