AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM11 alignment10 multi-agent10 post-training10 pretraining10 training10 fine-tuning9 agent8

AI 答案

资料有限基于 4 条来源 · 引用可点击溯源

现有资料不足以给出「post-training（后训练）」的系统性定义或通用方法论，只能确认它在若干具体研究场景中的用法与形态。 1. post-training 在这些资料中指的是：在已有基座模型/生成器之上，用额外训练信号继续优化其行为策略

在去中心化多智能体集群中，作者提出基于市场的后训练（market-based post-training, MPT），用于联合学习动作策略与自我编排：智能体通过出价（bid）表达参与意愿，出价决定谁采取行动、以及集体结果如何提供局部训练信用；动作行为与出价行为同时学习，使个体能力与参与模式在无中心协调智能体的情况下共同适应1。
该工作将其与单体式后训练（monolithic post-training）对比，并在具身制作、机器人导航、深度研究任务上评估，结果显示相较单体式后训练取得改进（摘要在此处截断，具体幅度未给出）1。

2. 在多智能体拓扑生成方向，post-training 被用于让生成器适配「每个查询」而非「语料库高频拓扑」

PRISM 指出：协作拓扑（哪些智能体参与、如何通信）决定多智能体系统有效性；近期工作从任务查询中学习生成拓扑，将生成器拟合到经执行验证的图语料库上3。
这类生成器的后训练存在局限：语料库只列出解决了某查询的图，却从不为其排序，因此持续监督微调（SFT）无法利用任何针对单个查询的偏好信号；缺乏该偏好，生成器会偏向语料库中出现频率最高的拓扑，导致一个任务上的收益可能以另一个任务为代价3。

3. 后训练中的信用分配/奖励信号设计是另一条主线

语言模型越来越多地同时针对多个可验证奖励训练（如工具调用正确性与格式、复杂指令的各项单独约束）；奖励解耦归一化（GDPO）对每个奖励分别归一化以保持各自不同的优势，但仍将每个奖励的优势均匀分摊到整个回复上，尽管每个验证器只检查少数几个位置4。
MRTPO 利用各奖励验证器所检查的信息，把每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注；做法是对每个奖励，让策略在包含/不包含该奖励验证器信息两种情况下重放自身回复，并用两次下一 token 分布之间的逐 token Jensen-Shannon 度量（摘要截断）4。

4. 长时程自主 ML 工程中的后训练：从长交互轨迹中筛选监督信号

MLExpert 面向自主长时程机器学习工程（MLE）：每次实验的反馈都反映此前的若干决策，而一次长时间 MLE 运行包含许多高成本实验，因此训练必须从长交互轨迹中筛选有用的监督信号，并从中间结果中学习2。

资料未覆盖的部分：post-training 的通用分类（如 SFT / RLHF / DPO 等范式划分）、主流开源模型的后训练流程与数据配比、具体超参或成本数据，以上 4 条资料均未涉及，无法据此回答。

继续追问

MPT 的「出价」机制具体如何把集体结果转化为局部训练信用？与单体式后训练的对比提升幅度是多少？PRISM 如何在不带排序的图语料库上构造针对单个查询的偏好信号？MRTPO 的 token 级信用分配与 GDPO 的具体差异和实验收益如何？

参考来源

4 条

1站内去中心化智能体集群的自编排学习智能体集群的能力既取决于其个体成员，也取决于它们如何协调。然而，现有的多智能体系统往往在固定的编排结构内训练智能体，将个体能力的学习与集体行为的组织割裂开来。我们提出基于市场的后训练（market-based post-training，MPT），这是一个用于在去中心化智能体集群中联合学习动作策略与自我编排的框架。智能体通过出价（bid）表达其参与意愿，出价决定了谁采取行动，以及集体结果如何提供局部训练信用（training credit）。同时学习动作行为与出价行为，使得个体能力与参与模式能够在没有中心协调智能体的情况下共同适应。我们在具身制作（embodied crafting）、机器人导航和深度研究任务上评估了 MPT。结果表明，相较于单体式后训练（monolithic post-training）取得了Hugging Face Papershttps://huggingface.co/papers/2610.22322 2站内MLExpert：面向自主机器学习工程的通用智能体模型大语言模型（LLM）正从辅助科学研究和工程，扩展到自主开发并改进 AI 系统，推动 AI for AI（AI4AI）成为通向递归自我改进（RSI）的一条路径。工作流驱动的机器学习工程（MLE）系统通过管理长时程实验的复杂编排，为这一追求提供了切实可行的路径；而近期的 MLE 系统采用模型主导的交互方式，使模型能够自主组织实验，并基于执行反馈调整优化策略。然而，每次实验的反馈都反映了此前的若干决策，而一次长时间的 MLE 运行包含许多此类高成本的实验。因此，训练必须从长交互轨迹中筛选出有用的监督信号，并从中间结果中学习。我们提出一种面向自主长时程 MLE Hugging Face Papershttps://huggingface.co/papers/2610.22344 3站内PRISM: PRIvileged Sibling-guided Multi-Agent Topology DesignarXiv:2610.20628v1 公告类型：新摘要：基于大语言模型（LLM）的多智能体系统（MAS）已成为解决复杂问题的有力方式，其有效性关键取决于协作拓扑——即决定哪些智能体参与以及它们如何通信的拓扑结构。近期工作从任务查询中学习生成该拓扑，将生成器拟合到经过执行验证的图语料库上。此类生成器的后训练方法仍存在局限：语料库只列出解决了某个查询的图，却从不为其排序，使得持续监督微调（SFT）无法利用任何针对单个查询的偏好信号。缺乏这种偏好，生成器会偏向语料库中出现频率最高的拓扑，而非适合每个查询的拓扑，因此在一个任务上的收益可能以另一个任务为代价。我arXiv cs.CLhttps://arxiv.org/abs/2610.20628 4站内多奖励强化学习的奖励相关token级信用分配语言模型越来越多地同时针对多个可验证奖励进行训练，例如工具调用的正确性与格式，或复杂指令的各项单独约束。奖励解耦归一化（GDPO）对每个奖励分别进行归一化，使不同的奖励组合保持各自不同的优势，但它仍然将每个奖励的优势均匀地分摊到整个回复上，尽管每个验证器只检查少数几个位置。我们提出 MRTPO，它利用各奖励验证器所检查的信息，将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注。对于每个奖励，策略在包含和不包含该奖励验证器信息的情况下分别重放自身的回复，并通过两次下一 token 分布之间的逐 token Jensen-ShaHugging Face Papershttps://huggingface.co/papers/2610.21439

AI 答案正在检索与综合…

站内相关条目

4 条 · 点击可看原文全文与中文译文

返回信息流

去中心化智能体集群的自编排学习

论文提出基于市场的后训练框架MPT，让去中心化智能体集群通过竞价机制联合学习动作策略与自编排，无需中央协调者。在具身制作、机器人导航和深度研究任务上优于单体后训练，且支持复用、扩展与抗掉线鲁棒性。

Agent·Hugging Face Papers·4 天前

#agent

MLExpert：面向自主机器学习工程的通用智能体模型

论文提出面向长周期机器学习工程优化的后训练方法，训练出35B MoE智能体模型MLExpert，通过分层智能体SFT与窗口交互强化学习，在MLE-Bench Lite上将奖牌率从37.9%提升至72.7%，接近更大前沿模型水平。

Agent·Hugging Face Papers·4 天前

#agent

PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design

PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法：利用同一查询下另一个已验证可行图作为"特权兄弟"信息，通过零初始化低秩分支让教师模型提供逐决策监督，使学生模型学到查询级偏好，避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。

Agent·arXiv cs.CL·4 天前

#multi-agent

大模

多奖励强化学习的奖励相关token级信用分配

针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。

大模型·Hugging Face Papers·4 天前

#rl