DiT 如何去噪？从注意力与 MLP 的“聚合器-预测器”视角解析

DiT 被研究提出可视为输入自适应的局部去噪器，其中 AdaLN 调节的注意力机制充当上下文聚合器，MLP 承担 patch 预测角色。理论证明高斯马尔可夫随机场先验下去噪误差随上下文半径呈指数衰减。在 CelebA64 实验中，使用共享内存 patch 预测器替代 DiT MLP 取得了具竞争力的生成性能，跨数据集移植亦验证了各组件分工。