arXiv cs.LG· Junha Park, Jaemyung Yu, Jaehui Hwang, Jong-Seok Lee, Dongyoon Han·· 16 小时前AI 评分35
不落下任何通道:通过残差门理解 Diffusion 训练加速
No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
AI 导读
新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。
来源:arXiv cs.LG · arxiv.org