AutoBNN: Probabilistic time series forecasting with compositional bayesian neural networks

AutoBNN 基于一系列研究成果脉络，过去十年来，这些研究通过使用具有学习到的核结构的高斯过程对时间序列建模，从而提升了预测精度。高斯过程的核函数编码了关于被建模函数的假设，例如趋势、周期性或噪声的存在。在学习到的高斯过程核中，核函数以组合方式定义：它要么是一个基础核（如 Linear、Quadratic、Periodic、Matérn 或 ExponentiatedQuadratic），要么是一个通过 Addition、Multiplication 或 ChangePoint 等算子组合两个或多个核函数而成的复合核。这种组合式核结构有两个相关的用途。首先，它足够简单，使得熟悉自己数据但未必熟悉高斯过程的用户能够为其时间序列构建合理的先验。其次，诸如序贯蒙特卡洛之类的技术可用于在小型结构上进行离散搜索，并能输出可解释的结果。

AutoBNN 在这些思想的基础上进行了改进，用贝叶斯神经网络（BNN）替代了 GP，同时保留了组合核结构。BNN 是一种权重服从概率分布而非固定权重集合的神经网络。这会诱导出输出的分布，从而捕捉预测中的不确定性。相比 GP，BNN 具有以下优势：首先，训练大型 GP 的计算成本很高，传统训练算法的复杂度随时间序列数据点数量的立方增长。相比之下，在固定宽度下，训练 BNN 的复杂度通常随数据点数量近似线性增长。其次，BNN 比 GP 训练操作更适合 GPU 和 TPU 硬件加速。第三，组合式 BNN 可以轻松与具备特征发现能力的传统深度 BNN 相结合。可以设想一种“混合”架构，其中用户指定 Add(Linear, Periodic, Deep) 的顶层结构，而深度 BNN 则负责学习来自潜在高维协变量信息的贡献。

那么，如何将具有组合核的 GP 转换为 BNN 呢？单层神经网络通常会在神经元数量（或“宽度”）趋于无穷大时收敛到 GP。最近，研究人员发现了反方向的对应关系——许多流行的 GP 核（如 Matern、指数二次、多项式或周期核）可以通过适当选择激活函数和权重分布，作为无限宽 BNN 获得。此外，即使宽度远小于无穷大，这些 BNN 仍与相应的 GP 保持接近。例如，下图展示了两两观测之间协方差的差异，以及真实 GP 与其对应的宽度为 10 的神经网络版本的回归结果。