arXiv cs.LG· Chuyu Hu, Huanran Chen, Shitong Shao, Yinpeng Dong·· 15 天前AI 评分37
大型扩散模型不仅需要 EMA
Large Diffusion Models Need More Than EMA
AI 导读
大型扩散模型仅靠恒定学习率搭配指数移动平均（EMA）存在优化局限，研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益，而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA，兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
来源：arXiv cs.LG · arxiv.org