arXiv stat.ML· Jingda Wu, Changxiao Cai·· 22 天前AI 评分32
基于 Transformer 的掩码扩散模型可证明学习潜结构分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
AI 导读
最新研究建立了端到端统计保证，证明基于 Transformer 的掩码扩散模型（MDM）能有效学习具有潜结构的数据分布。在数据由隐马尔可夫树混合建模时，采用并行去掩码调度的 Transformer MDM 在 KL 散度下实现 $\varepsilon$-精确采样仅需 $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ 个训练样本。
来源：arXiv stat.ML · arxiv.org