arXiv stat.ML· Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li·· 16 小时前AI 评分40
宽度与深度缩放下 $\mu$P 的谱条件
Spectral Condition for $\mu$P under Width-Depth Scaling
AI 导读
针对宽度与深度联合缩放，该研究提出了 $\mu$P 的统一谱框架，明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变，并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实，CompleteP 风格（k≥2）参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
来源：arXiv stat.ML · arxiv.org