Defining and Generating Compositional Structure

arXiv:2610.20922v1 公告类型：新

摘要：组合结构在自然界中普遍存在且跨越多个尺度：原子结合成分子，分子结合成细胞，细胞结合成生物体，而在每个层级内部又会出现进一步的组合层级。更广泛地说，组合性——即对部件进行复用与重组以形成新颖结构——是自然系统与人工系统中产生有趣复杂性的根本来源。然而，尽管其重要性不言而喻，也尽管我们显然能够轻松识别它，能够刻画我们直觉上所说的组合结构的数学理论仍然有限。在此，我们通过形式化一个简单的想法来填补这一空白：当部件被放在一起考虑时，会揭示出单独建模这些部件时所无法捕捉的共享结构，此时组合结构便涌现出来。我们使用算法信息论——关于信息与压缩的数学——来表达这一想法，它提供了一种自然的方式，可以在不预先指定结构必须是什么样子的情况下，识别任意数据中的结构。将该定义应用于不同尺度，我们的定义揭示了组合结构在一个对象内部何处以及如何涌现。随后，利用可处理的近似方法，我们将该框架反过来用于生成组合对象：我们指定其组合结构所期望的形式，而不规定其具体内容，并直接在字符串和图像上进行优化。由此生成的对象展现出易于识别的层级复用与部分-整体组织，这表明该定义捕捉到的是组合结构，而不仅仅是复杂性、规律性或共享信息。最后，我们讨论其对机器学习的启示，包括关于神经网络架构中深度的新视角，以及构建能够支持开放式学习的组合数据课程的原则。