arXiv stat.ML· Mingze Wang, Jinbo Wang, Yikuan Xia, Kai Shen, Shu Zhong·· 2 小时前AI 评分37
更具表达力的前馈层（第一部分）：Token 自适应激活混合
More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations
AI 导读
研究者提出 Mixture of Activations（MoA），利用轻量级门控为不同 token 自适应混合多种激活函数，以极低计算与参数开销提升 LLM 前馈层的非线性表达力。理论证明其表达能力严格优于固定激活 FFN；在 0.12B 至 2B 参数的稠密及 MoE 模型预训练中，MoA 均一致取得更低的终止 loss 与更优的 scaling 表现。
来源：arXiv stat.ML · arxiv.org