arXiv cs.LG· Gilad Karpel, Daniel Soudry·· 18 天前AI 评分30
高维持续线性回归的最优显式与隐式正则化强度研究
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
AI 导读
一项新研究推导出高维持续线性回归在梯度下降训练下的泛化损失闭式解，证明单一或独立同分布教师任务下的最优固定步长随任务数 $T$ 按 $\ln T / T$ 衰减。该缩放下的泛化损失渐近等价于最优调优的各向同性 L2 正则化，研究还给出了对角正则化矩阵下最优正则项为各向同性的充要条件。相关理论预测已在线性模型与神经网络实验中得到验证。
来源：arXiv cs.LG · arxiv.org