AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM9 alignment8 post-training7 pretraining7 training7 fine-tuning6 multi-agent6 agent5

AI 答案

资料有限基于 4 条来源 · 引用可点击溯源

现有资料不足以给出「post-training（后训练）」的系统性定义或通用方法论综述，只能确认几篇论文中后训练的具体用法与一个共性痛点。 1. 后训练在资料中的几种具体形态

基于市场的后训练（MPT）：用于去中心化智能体集群，联合学习动作策略与自我编排；智能体通过出价表达参与意愿，出价决定谁行动以及集体结果如何分配局部训练信用，从而在无中心协调智能体的情况下让个体能力与参与模式共同适应1。
面向自主长时程 MLE 的后训练：针对工作流驱动的机器学习工程系统，训练需从长交互轨迹中筛选有用监督信号，并从中间结果中学习2。
多智能体拓扑生成器的后训练：现有方法受限于语料库只列出解决某查询的图而不排序，持续 SFT 无法利用针对单个查询的偏好信号，导致生成器偏向高频拓扑而非适配每个查询的拓扑3。
多奖励强化学习场景：MRTPO 将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注4。

2. 资料中反复出现的后训练难点

信用/优势分配粒度问题：GDPO 虽对每个奖励分别归一化以保持各自优势，但仍将每个奖励的优势均匀分摊到整个回复上，而每个验证器只检查少数位置4。
偏好信号缺失：拓扑生成器后训练缺乏单查询级偏好监督，造成任务间收益此消彼长3。
长轨迹监督筛选：一次长时程 MLE 运行包含许多高成本实验，反馈反映此前若干决策，因此必须从长交互轨迹中筛选监督信号2。

3. 效果对比（仅限资料明确表述）

MPT 在具身制作、机器人导航和深度研究任务上评估，相较单体式后训练（monolithic post-training）取得……（资料摘要在此处截断，未给出具体结论与数字）1。

如需更完整的「post-training 是什么、有哪些主流范式（SFT/RLHF/RLVR 等）」的回答，现有资料不足以支撑。

继续追问

MPT 相比单体式后训练在具身制作、机器人导航和深度研究任务上的具体提升幅度是多少？MRTPO 的 token 级信用分配具体如何用 Jensen-Shannon 散度计算，与 GDPO 的差异有多大？PRISM 如何为拓扑生成器构造单查询级的偏好信号来替代纯 SFT？

参考来源

4 条

1站内去中心化智能体集群的自编排学习智能体集群的能力既取决于其个体成员，也取决于它们如何协调。然而，现有的多智能体系统往往在固定的编排结构内训练智能体，将个体能力的学习与集体行为的组织割裂开来。我们提出基于市场的后训练（market-based post-training，MPT），这是一个用于在去中心化智能体集群中联合学习动作策略与自我编排的框架。智能体通过出价（bid）表达其参与意愿，出价决定了谁采取行动，以及集体结果如何提供局部训练信用（training credit）。同时学习动作行为与出价行为，使得个体能力与参与模式能够在没有中心协调智能体的情况下共同适应。我们在具身制作（embodied crafting）、机器人导航和深度研究任务上评估了 MPT。结果表明，相较于单体式后训练（monolithic post-training）取得了Hugging Face Papershttps://huggingface.co/papers/2610.22322 2站内MLExpert：面向自主机器学习工程的通用智能体模型大语言模型（LLM）正从辅助科学研究和工程，扩展到自主开发并改进 AI 系统，推动 AI for AI（AI4AI）成为通向递归自我改进（RSI）的一条路径。工作流驱动的机器学习工程（MLE）系统通过管理长时程实验的复杂编排，为这一追求提供了切实可行的路径；而近期的 MLE 系统采用模型主导的交互方式，使模型能够自主组织实验，并基于执行反馈调整优化策略。然而，每次实验的反馈都反映了此前的若干决策，而一次长时间的 MLE 运行包含许多此类高成本的实验。因此，训练必须从长交互轨迹中筛选出有用的监督信号，并从中间结果中学习。我们提出一种面向自主长时程 MLE Hugging Face Papershttps://huggingface.co/papers/2610.22344 3站内PRISM: PRIvileged Sibling-guided Multi-Agent Topology DesignarXiv:2610.20628v1 公告类型：新摘要：基于大语言模型（LLM）的多智能体系统（MAS）已成为解决复杂问题的有力方式，其有效性关键取决于协作拓扑——即决定哪些智能体参与以及它们如何通信的拓扑结构。近期工作从任务查询中学习生成该拓扑，将生成器拟合到经过执行验证的图语料库上。此类生成器的后训练方法仍存在局限：语料库只列出解决了某个查询的图，却从不为其排序，使得持续监督微调（SFT）无法利用任何针对单个查询的偏好信号。缺乏这种偏好，生成器会偏向语料库中出现频率最高的拓扑，而非适合每个查询的拓扑，因此在一个任务上的收益可能以另一个任务为代价。我arXiv cs.CLhttps://arxiv.org/abs/2610.20628 4站内多奖励强化学习的奖励相关token级信用分配语言模型越来越多地同时针对多个可验证奖励进行训练，例如工具调用的正确性与格式，或复杂指令的各项单独约束。奖励解耦归一化（GDPO）对每个奖励分别进行归一化，使不同的奖励组合保持各自不同的优势，但它仍然将每个奖励的优势均匀地分摊到整个回复上，尽管每个验证器只检查少数几个位置。我们提出 MRTPO，它利用各奖励验证器所检查的信息，将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注。对于每个奖励，策略在包含和不包含该奖励验证器信息的情况下分别重放自身的回复，并通过两次下一 token 分布之间的逐 token Jensen-ShaHugging Face Papershttps://huggingface.co/papers/2610.21439

AI 答案正在检索与综合…

站内相关条目

4 条 · 点击可看原文全文与中文译文

返回信息流

去中心化智能体集群的自编排学习

论文提出基于市场的后训练框架MPT，让去中心化智能体集群通过竞价机制联合学习动作策略与自编排，无需中央协调者。在具身制作、机器人导航和深度研究任务上优于单体后训练，且支持复用、扩展与抗掉线鲁棒性。

Agent·Hugging Face Papers·4 天前

#agent

MLExpert：面向自主机器学习工程的通用智能体模型

论文提出面向长周期机器学习工程优化的后训练方法，训练出35B MoE智能体模型MLExpert，通过分层智能体SFT与窗口交互强化学习，在MLE-Bench Lite上将奖牌率从37.9%提升至72.7%，接近更大前沿模型水平。

Agent·Hugging Face Papers·4 天前

#agent

PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design

PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法：利用同一查询下另一个已验证可行图作为"特权兄弟"信息，通过零初始化低秩分支让教师模型提供逐决策监督，使学生模型学到查询级偏好，避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。

Agent·arXiv cs.CL·4 天前

#multi-agent

大模

多奖励强化学习的奖励相关token级信用分配

针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。

大模型·Hugging Face Papers·4 天前

#rl