AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答「零初始化低秩分支具体如何避免 SFT 偏向语料高频拓扑」这一机制性问题——资料1只有摘要级信息，未披露分支结构、初始化方式与训练目标的细节。以下仅列出资料中能确认的部分：

PRISM 是一种面向 LLM 多智能体系统的拓扑生成后训练方法，目标是让模型为查询生成合适的智能体拓扑1。
其核心思路是引入「特权兄弟」信息：对同一查询，利用另一个已验证可行的图作为额外监督来源1。
监督信号由教师模型逐决策提供，学生模型据此学习查询级偏好，而非模仿语料中的整体拓扑分布1。
资料明确将「零初始化低秩分支」与「避免 SFT 偏向语料高频拓扑」并列为该方法的设计要素，但未说明二者的因果机制（例如零初始化如何抑制初始阶段对高频模式的拟合）1。
效果层面：在六个基准上优于现有拓扑设计基线1。

因此，关于「零初始化」的具体作用路径（如分支输出初始为零、从而在训练早期不扰动主干、逐步注入逐决策监督等）属于资料外的推断，此处不作展开。

继续追问

1 条

AI 答案正在检索与综合…

1 条 · 点击可看原文全文与中文译文

PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法：利用同一查询下另一个已验证可行图作为"特权兄弟"信息，通过零初始化低秩分支让教师模型提供逐决策监督，使学生模型学到查询级偏好，避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。

Agent·arXiv cs.CL·5 天前