PRISM: Transfer and Limits of Activation Interventions in Tool-Calling Language Models
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
3 条 · 点击可看原文全文与中文译文
PRISM 框架研究工具调用语言模型中激活干预的可迁移性,发现利用量化 NF4 标签和跨语言迁移可稳定估计安全干预方向,无需目标语言微调即可将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并可迁移至 70B 模型。
PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法:利用同一查询下另一个已验证可行图作为"特权兄弟"信息,通过零初始化低秩分支让教师模型提供逐决策监督,使学生模型学到查询级偏好,避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。
ReviewPilot 是一个面向系统综述 PRISMA 流程的多智能体系统,通过对话定制筛选标准与抽取模式,并保留项目记忆,实现论文筛选与证据抽取的自动化。每条筛选决策附理由、每个抽取值附来源,在流行病学专家评审中优于单提示 LLM 与 AgentSLR,筛选宏 F1 达 0.776、抽取 F1 达 0.788,值得关注其可追溯性与跨领域迁移潜力。
现有资料只能给出「特权兄弟」监督信号的高层构造思路,不足以还原其具体实现细节(如逐决策监督的具体标签形式、损失函数、分支结构超参等)。资料中能确认的部分如下: 1. 监督信号的来源:同一查询下的另一个已验证可行图 PRISM 的拓扑生成后训练方法中,「特权兄弟」指同一查询下另一个已被验证可行的图,作为额外的特权信息提供给模型2。也就是说,监督信号不是来自人工标注的最优拓扑,而是来自同一查询下已确认可用的兄弟图。 2. 监督信号的施加方式:零初始化低秩分支 + 教师逐决策监督 该方法通过一个零初始化低秩分支,让教师模型基于特权兄弟信息提供逐决策(per-decision)监督,学生模型据此学习2。零初始化意味着分支初始输出为零、不扰动原模型,训练中逐步注入特权信息——这是资料中唯一可确认的结构性描述2。 3. 监督信号的目标:查询级偏好而非语料高频拓扑 该设计的动机是避免 SFT 偏向语料中出现频率高的拓扑,使学生模型学到查询级偏好(即针对具体查询选择合适拓扑),而非语料统计上的高频模式2。 4. 效果佐证 该拓扑生成后训练方法在六个基准上优于现有拓扑设计基线2。 资料缺口:现有摘要未说明特权兄弟如何筛选(可行性验证标准)、逐决策监督的具体粒度(节点/边/步骤)、损失形式与权重、教师与学生如何共享参数等。这些需查阅原文 2 的方法章节。 注意区分:另有一篇同名 PRISM 论文研究工具调用模型中的激活干预迁移性(量化 NF4 标签、跨语言迁移、Llama-3.1-8B 违规率降低 21.95 个百分点)1,与拓扑设计中的「特权兄弟」机制无关;ReviewPilot 的 PRISMA 是系统综述流程,亦非同一概念3。