arXiv stat.ML· Renxiang Huang, Yuchen Liang, Yingbin Liang, Ness Shroff, Lifeng Lai·· 18 天前AI 评分32
零样本条件离散扩散中的 Score 不匹配与集合约束采样
Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion
AI 导读
该研究针对零样本条件离散扩散生成提出了首个 score 不匹配理论分析，推导出通用的 KL 散度上界以量化不匹配带来的偏差。分析涵盖文本填空、句子补全等逐坐标集合约束，证明经典 Conditional SEDD 采样器的偏差会随维度、词表大小和兼容性缩放。研究据此提出 Randomized Hard Clamping（RHC）采样器，数值与真实数据实验验证了其有效性。
来源：arXiv stat.ML · arxiv.org