Denoising Score Matching in Diffusion Models: The Effect of Rank Constraints on Generalization

arXiv:2610.20850v1 公告类型：新

摘要：架构偏置限制了扩散得分网络（score network）所能表示的函数类别，但其对泛化的影响仍鲜为人知。我们研究了去噪得分匹配（denoising score matching），其得分网络具有一个秩约束的非线性项和一个线性跳跃连接。在嵌入球面上支撑的数据上，使用可训练的三层网络进行的数值实验表明，增加秩会降低训练误差，但其对测试误差的影响取决于样本量和数据维度。为解释这一行为，我们分析了在秩约束下、数据为支撑于低维子空间的高斯数据时的随机特征得分模型。我们通过截断奇异值分解刻画了最优的秩约束估计器，并在样本量 $(n)$、特征宽度 $(p)$、数据维度 $(D)$ 和秩 $(r)$ 与环境维度 $(d)$ 成比例缩放时，推导出渐近精确的极限训练误差和测试误差。由此得到的谱刻画区分了改善经验拟合的特征模态与改善总体精度的特征模态。它还识别出数据子空间的正交补的维度作为一个自然的秩阈值。理论学习曲线定性地再现了观察到的秩相关过拟合现象，为瓶颈或秩约束如何正则化得分估计、以及为何其有效性取决于数据维度和样本量提供了一种可处理的解释。