跳到正文
原文
arXiv stat.ML· Yalda Shabanzadeh, Diyuan Wu, Marco Mondelli·· 15 天前AI 评分34

岭回归中通过迁移学习实现极小化极大最优缩放定律

Minimax-optimal Scaling Laws in Ridge Regression via Transfer Learning

AI 导读

研究人员针对高维岭回归迁移学习机制展开分析,证明微调模型可在特定机制下使缩放定律达到极小化极大最优指数。研究建立了模型与协方差偏移下的风险确定性等价形式,发现该机制下的最优源正则化仅依赖源数据,且通过单遍随机梯度下降微调同样能达到该最优速率。理论分析已在合成环境和语言模型实验中得到验证。

来源:arXiv stat.ML · arxiv.org