arXiv stat.ML· Zhichao Wang, Michael W. Mahoney·· 16 小时前AI 评分37
何时、何处、多少比特？带随机舍入 SGD 的缩放定律
Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
AI 导读
一项新研究推导了带随机舍入（SR）的 SGD 预测误差匹配上下界，揭示了模型大小、训练时间与精度协同变化的算力缩放定律。理论表明仅前向特征舍入可保持精确计算的算力缩放，而反向舍入会改变该规律；参数平均则能改变何时以及何处需要更高精度。在固定算力预算下，低精度支持更大模型能提升预测表现，相关权衡在 MLP 和小型 Transformer 实验中得到验证。
来源：arXiv stat.ML · arxiv.org