事件中心的音视频一致性评估框架AVC-Reward
AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
中文摘要
由模型生成 · 人工抽检针对联合音视频生成模型在多事件、多层音频混合及非对称跨模态关系下评估失效的问题，提出以事件为中心的一致性评估框架，将音视频事件解耦并逐事件交叉验证，聚合为粗到细三级指标，并实例化为可训练奖励模型AVC-Reward，与人类判断对齐度达SOTA，还能作为在线强化学习信号提升生成一致性。
全文
已译中文随着联合音视频生成模型能力的不断增强，它们能够生成展现出三种复杂性形式的音视频场景：多事件组合、多层音频混合以及非对称跨模态关系。然而，当前的评估方法在很大程度上复用了早期简单且单向任务的指标。它们通常将音视频片段作为一个整体进行评估，并依赖简单的预定义关系，这使得它们不适用于这些日益复杂的场景。我们提出了一个以事件为中心的评估框架，该框架在事件层面解耦音频事件和视觉事件，独立分析每个事件，跨模态交叉验证关系，并将各项判断聚合为从粗到细的三级一致性指标。该指标评估全局叙事和谐性、事件级时间同步性以及细粒度属性对齐，为跨多样生成设置和跨模态关系的音视频一致性评估提供了通用公式。我们将该指标实例化为 AVC-Reward，一个可训练的音视频奖励模型。为了评估自动判断与人类感知在不同生成范式和关系复杂性下的一致性，我们构建了 AVC-Benchmark，它主要基于各类音视频生成模型生成的多样正样本和负样本构建而成。AVC-Reward 在自动方法中实现了与人类判断的 SOTA 对齐，提供了可解释的推理依据以定位失败之处，并在作为在线强化学习信号使用时提升了联合生成模型的音视频一致性。项目页面：https://tsuki0512.github.io/AVC-Reward.github.io/
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。