arXiv cs.LG· Yuxiang Fu, Qi Yan, Zike Wu, Yongxing Zhang, Purang Abolmaesumi, Lele Wang, Renjie Liao·· 26 天前AI 评分38
用于无数据扩散模型蒸馏的一致性分布匹配方法
Consistent Distribution Matching for Data-Free Diffusion Distillation
AI 导读
新研究提出 Consistent Distribution Matching，一种面向扩散与流模型的无模拟、无数据知识蒸馏方法。该方法用单个学生网络统一样本生成与得分估计，仅需一个冻结教师网络和一个学生网络并优化单一目标。在 ImageNet 256×256 上，其在 40 个 epoch 内达到 1-NFE FID 2.04 和 4-NFE FID 1.37，相关代码与模型已开源。
来源：arXiv cs.LG · arxiv.org