热点事件持续更新
研究者提出激活函数混合机制MoA提升模型表达力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月5日，arXiv发表相关研究，研究者提出名为 Mixture of Activations（MoA）的机制。该机制利用轻量级门控为不同 token 自适应混合多种激活函数，以极低的计算与参数开销提升大语言模型前馈层（FFN）的非线性表达力。研究在理论上证明了 MoA 的表达能力严格优于传统的固定激活 FFN。在 0.12B 至 2B 参数规模的稠密模型及 MoE 模型预训练实验中，MoA 均一致取得了更低的终止 loss 与更优的 scaling 表现。
AI 根据报道生成 · 44 分钟前更新
最新进展11月5日 13:00
研究者提出MoA机制，通过自适应混合激活函数提升LLM前馈层表达力。报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv stat.ML更具表达力的前馈层（第一部分）：Token 自适应激活混合
研究者提出 Mixture of Activations（MoA），利用轻量级门控为不同 token 自适应混合多种激活函数，以极低计算与参数开销提升 LLM 前馈层的非线性表达力。理论证明其表达能力严格优于固定激活 FFN；在 0.12B 至 2B 参数的稠密及 MoE 模型预训练中，MoA 均一致取得更低的终止 loss 与更优的 scaling 表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。