Open-world AI: a Tale of Three Requirements

arXiv:2610.20782v1 公告类型：新

摘要：封闭世界要求AI具备专门的能力，并让它制造其理论所假设的iid数据：一个固定的标准允许收集样本，直到任务被覆盖。开放世界要求的是多面性——承接机器并非为之构建的任务，从少量样本出发，且几乎没有人类设计者提供的先验——并提供分组而非打乱的数据。其任务并非预先已知，因此机器必须进行推理时学习（第一项要求）。将任务建模为共享潜在因子并分解训练目标，我们推导出另外两项要求：一个*丰富的表示*，其保留的信息超过iid泛化所需；以及一种预测性解缠，将输入与输出对齐为匹配的低维分组。该分析进一步预测了对一致的内在学习器的需求，以及跨越相关任务的长上下文的益处。我们在最大至8B的语言模型上检验这些主张，追问的是模型是否具备某种性质（定性），而非它赢了多少（定量）。满足这些要求的模型会随着来自相关任务的数据积累而改进；其余模型则会退化，且无论是规模还是层类型交错都无法修复这一点。