arXiv stat.ML· Richard Bergna (University of Cambridge, Spotify), Fernando Ruiz Mazo (University of Cambridge), Nicol\`o Felicioni (Spotify), Jos\'e Miguel Hern\'andez-Lobato (University of Cambridge), Kamil Ciosek (Spotify)·· 25 天前AI 评分37
$\sigma$Transfer：基于 $\mu\mathrm{P}$ 实现从小模型到大模型的不确定性迁移
$\sigma$Transfer: Uncertainty Transfer from Small to Large Networks under $\mu\mathrm{P}$
AI 导读
研究提出 $\sigma\mathrm{Transfer}$ 方法，在最大更新参数化（$\mu\mathrm{P}$）下通过重缩放先验协方差，将小模型选定的先验精度零样本迁移至大模型，免去大模型昂贵的后验扫描。
来源：arXiv stat.ML · arxiv.org