神经期望最大化与元模型：从概率推断视角统一 Transformer 架构

研究者将 Transformer 架构解释为结合最大乘积环路信念传播（LBP）与期望最大化（EM）的混合概率推断过程。自注意力机制实现了在动态马尔可夫随机场（MRF）上的可微 LBP 近似，而跨网络层级的递进则充当隐式 M 步。基于此视角提出的元模型（meta-models）设计范式，在统一框架下涵盖了自注意力、混合专家（MoE）及门控单元等机制。