跳到正文
原文
arXiv cs.LG· Junha Park, Jaemyung Yu, Jaehui Hwang, Jong-Seok Lee, Dongyoon Han·· 16 小时前AI 评分35

不落下任何通道:通过残差门理解 Diffusion 训练加速

No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates

AI 导读

新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。

来源:arXiv cs.LG · arxiv.org