Apple 研究团队探索三模态掩码扩散模型的设计空间

Apple 研究团队系统探索了三模态掩码扩散模型（MDM）的设计空间，在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程（SDE）的重参数化方法以解耦物理与逻辑批大小，并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。