热点事件持续更新
研究者提出宽深缩放下μP的统一谱框架
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
2026年11月2日,针对宽度与深度的联合缩放,相关研究提出了最大更新参数化(μP)的统一谱框架。该框架明确了残差网络权重及每步更新范数的缩放规律,揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
AI 根据报道生成 · 17 小时前更新
最新进展11月2日 13:00
研究者提出宽深缩放下μP的统一谱框架,实验证实其能实现稳定特征学习与超参数迁移。报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv stat.ML宽度与深度缩放下 $\mu$P 的谱条件
针对宽度与深度联合缩放,该研究提出了 $\mu$P 的统一谱框架,明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
本事件热度走势
当前热度 6·可比范围峰值 10(11月2日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。