ARIA: Runtime Inspection and Amendment for Multi-Agent Systems
ARIA 提出面向 LLM 多智能体系统的运行时检查与修正框架,将执行验证过的修复转化为可复用监督数据,训练小模型在任务执行中途识别错误并介入修正,避免事后诊断或反复重跑。构建了首个大规模失败轨迹与验证修复配对数据集(3953 对),可跨框架与宿主模型泛化。
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
ARIA 提出面向 LLM 多智能体系统的运行时检查与修正框架,将执行验证过的修复转化为可复用监督数据,训练小模型在任务执行中途识别错误并介入修正,避免事后诊断或反复重跑。构建了首个大规模失败轨迹与验证修复配对数据集(3953 对),可跨框架与宿主模型泛化。
现有资料不足以完整回答该问题。 资料中只有 ARIA 一方的描述,没有给出任何 post-hoc 事后诊断式方法的实验设置细节,因此无法做逐项对比;只能确认 ARIA 自身实验设置中与「事后诊断」形成对照的几点特征。 1. 干预时机:运行时 vs 事后 ARIA 的定位是「运行时检查与修正框架」,在任务执行中途识别错误并介入修正,明确以「避免事后诊断或反复重跑」为目标1。这构成与 post-hoc 方法在实验范式上的核心差异:ARIA 的评测场景是执行过程中的在线介入,而事后诊断式方法是在执行结束后再做诊断(资料未给出其具体流程)1。 2. 监督信号的来源与形态 ARIA 将「执行验证过的修复」转化为可复用监督数据,用于训练小模型1。也就是说,其训练数据来自运行中被验证有效的修复动作,而非事后回溯分析得到的诊断结论1。 3. 数据集规模与构成 ARIA 构建了「首个大规模失败轨迹与验证修复配对数据集」,规模为 3953 对1。资料未提及任何 post-hoc 方法所使用的数据集规模或构成,无法对比。 4. 泛化性评测维度 ARIA 报告了跨框架与跨宿主模型的泛化能力1。资料未说明 post-hoc 方法是否设置同类跨框架、跨模型实验,无法对比。 结论:可确认的差异仅在于 ARIA 采用运行时在线修正范式、以验证过的修复作为监督数据、并配有 3953 对失败轨迹-修复配对数据集1;post-hoc 方法的具体实验设置(数据集、基线、评测指标、模型规模)在现有资料中完全缺失,需补充该方向的原始论文后才能给出严谨对比。