去中心化智能体集群的自编排学习

智能体集群的能力既取决于其个体成员，也取决于它们如何协调。然而，现有的多智能体系统往往在固定的编排结构内训练智能体，将个体能力的学习与集体行为的组织割裂开来。我们提出基于市场的后训练（market-based post-training，MPT），这是一个用于在去中心化智能体集群中联合学习动作策略与自我编排的框架。智能体通过出价（bid）表达其参与意愿，出价决定了谁采取行动，以及集体结果如何提供局部训练信用（training credit）。同时学习动作行为与出价行为，使得个体能力与参与模式能够在没有中心协调智能体的情况下共同适应。我们在具身制作（embodied crafting）、机器人导航和深度研究任务上评估了 MPT。结果表明，相较于单体式后训练（monolithic post-training）取得了提升，并证实智能体的参与确实随学习而演化。在相同的后训练动作策略下，学习得到的自我编排优于其他协调策略。消融实验表明，动作与出价均从学习中受益，且学习得到的出价能提供更有效的动作训练信号。除原始训练目标之外，训练后的集群对相关任务的适应速度更快，并且在推理时以更大规模群体取得更好的性能。更大规模的群体在智能体掉线（agent dropout）情况下遭受的性能损失也更小，这表明学习得到的自我编排支持去中心化智能体集群中的复用、扩展与鲁棒性。代码与训练好的模型可在 https://github.com/Embodied-Minds-Lab/MPT 获取。