arXiv cs.LG· Tianze Wang, Zhiqi Bu, Linjun Zhang·· 15 天前AI 评分35
差分隐私优化中的超参数迁移：DP-μP 框架提出
Towards Hyperparameter Transfer for Differentially Private Optimization
AI 导读
研究者提出了 DP-μP 框架，将最大更新参数化（μP）拓展至差分隐私（DP）训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用，导出基于信噪比（SNR）的逐层学习率缩放条件，并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明，DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移，大幅降低计算成本。
来源：arXiv cs.LG · arxiv.org