Feature Elicitation for SAE Steering of Deceptive Behaviour in Small LLMs

arXiv:2610.20638v1 公告类型：新

摘要：随着前沿模型能力的提升及其造成灾难性伤害风险的增加，关于欺骗性对齐的研究正变得日益紧迫。对齐伪装是欺骗性对齐的一种形式，其中合规差距（compliance gap）是一项关键的行为指标。这一行为在小规模LLM中仍缺乏充分研究，且此前的机制性干预尚未被证明能够缓解合规差距。我们测试了引导与道义论伦理相关的SAE（稀疏自编码器）特征能否缓解这一行为。我们采用一种新颖的词袋特征引出流水线进行SAE引导，以识别我们所理解的概念级引导方向。我们的方法在Gemma-3-27B-IT中将合规差距降至不显著水平，而所测试的配置在LLaMA-3-8B-Instruct中则无效。对scratchpad轨迹的分析还揭示了欺骗性的模型行为，我们将其称为欺骗性钝化（deceptive defanging）：即故意降低回复中对齐功能的表现（在此情形下为有害性），同时保留对齐的外观（在此情形下为对有害请求的有帮助的合规），有时以层级、训练或RLHF后果为条件。据我们所知，这些发现首次提供了证据，表明一种机制性激活层面的干预能够在对齐伪装设置中缓解合规差距。它们还识别出一种欺骗性行为形式，可能拓宽我们对LLM中不同欺骗性行为形式的理解。