arXiv cs.LG· Jialin Zhu, Xing Liu, Feixiang He, He Wang·· 25 天前AI 评分35
多带宽分布匹配蒸馏：论分布匹配蒸馏与漂移模型的等价性
Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
AI 导读
论文证明了训练单步漂移模型（Drifting Models）与常用的分布匹配蒸馏（DMD/DMD2）具有自然等价性。研究表明，将预训练扩散与流式生成模型（DFSGMs）的速度场或噪声场转换为引力场，并从生成分布中估计斥力场，即可将训练漂移模型与 DMD 精确对应。基于该等价视角，作者提出了一种改进方法多带宽分布匹配蒸馏（MBDMD）。
来源：arXiv cs.LG · arxiv.org