AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答「逐决策监督的损失函数具体如何设计」以及「与常规 SFT 的损失差异细节」——资料1 只有摘要级信息，未给出损失函数形式、公式或目标项构成。以下仅列出资料中能确认的部分：

监督粒度：PRISM 通过零初始化低秩分支，让教师模型提供逐决策（per-decision）监督，而非只对最终输出做序列级拟合1。
监督信号来源：监督来自同一查询下另一个已验证可行的图，作为「特权兄弟」信息，属于特权信息（privileged information）式的教师信号，而非人工标注的参考答案1。
学习目标定位：目标是让学生模型学到查询级偏好，而不是复现语料中的高频拓扑模式1。
与 SFT 的差异（资料明确指出的部分）：资料称该方法可避免 SFT 偏向语料高频拓扑，即 SFT 的分布拟合倾向会放大训练语料中常见拓扑的先验，而 PRISM 用逐决策的特权监督替代这一倾向1。
效果：在六个基准上优于现有拓扑设计基线1。

关于损失函数的具体形式（如是否为逐 token 交叉熵加权、是否含偏好/对比项、低秩分支如何与主模型联合优化、零初始化带来的梯度行为等），资料1 未涉及，无法据此推断。

继续追问

1 条

AI 答案正在检索与综合…

1 条 · 点击可看原文全文与中文译文

PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法：利用同一查询下另一个已验证可行图作为"特权兄弟"信息，通过零初始化低秩分支让教师模型提供逐决策监督，使学生模型学到查询级偏好，避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。

Agent·arXiv cs.CL·5 天前