跳到正文
热点事件持续更新

研究者提出宽深缩放下μP的统一谱框架

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

2026年11月2日,针对宽度与深度的联合缩放,相关研究提出了最大更新参数化(μP)的统一谱框架。该框架明确了残差网络权重及每步更新范数的缩放规律,揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。

AI 根据报道生成 · 17 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv stat.ML
    宽度与深度缩放下 $\mu$P 的谱条件

    针对宽度与深度联合缩放,该研究提出了 $\mu$P 的统一谱框架,明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。

本事件热度走势

当前热度 6·可比范围峰值 10(11月2日 14:00)·近 24 小时可比范围变化 –

02.557.51011月2日14:0011月2日19:0011月3日00:0011月3日05:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。