大模型arXiv cs.LG4 天前
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
该论文研究高维持续线性回归中显式与隐式正则化的最优强度，推导了固定步数梯度下降的泛化损失闭式解，证明最优步长随任务数近似以 ln T / T 衰减，并与最优 L2 正则等价，还给出对角正则矩阵下最优正则器为各向同性的充要条件。为持续学习系统的步长与正则设计提供理论指导。