arXiv cs.LG· Woocheol Shin, Taeyoung Yun, Jiwon Sung, Hyeongyu Kang, Jeongmin Park, Jaewoo Lee, Kyuil Sim, Dohyun Kim, Yutong He, Jinkyoo Park·· 18 天前AI 评分38
少步生成模型的噪声空间奖励对齐
Noise-Space Reward Alignment for Few-Step Generative Models
AI 导读
针对少步生成模型的对齐难题，新研究提出噪声策略优化（NPO），通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率，推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中，NPO 性能优于直接微调，且推理成本比测试时搜索方法降低 16 到 549 倍。
来源：arXiv cs.LG · arxiv.org