大模
PRISM: Transfer and Limits of Activation Interventions in Tool-Calling Language Models
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
大模型·arXiv cs.CL·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
现有资料不足以回答「NF4 量化标签具体如何用于估计安全干预方向」这一机制性问题——资料1 只给出了结论性描述,没有披露具体做法。 资料中能确认的部分:
资料未覆盖、因而无法回答的点:NF4 标签的构造方式(标签来自哪些样本、如何离散化)、标签与激活向量之间的具体计算流程(如是否用于方向向量筛选、加权或聚类)、以及「稳定估计」的判定标准。这些需要查阅原文方法章节。