arXiv cs.LG· Ivan Viakhirev, Kirill Borodin, Maxim Abramov, Grach Mkrtchian·· 7 天前AI 评分37
一致性而非归一化维持循环语言模型的深度可复用性
Agreement rather than normalisation keeps depth reusable in looped language models
AI 导读
研究表明，维持循环语言模型深度可复用性的是训练与运行循环的一致性，而非循环步之间的状态归一化。测试显示，直接从已发布的 Ouro-1.4B 与 Ouro-2.6B 移除归一化会导致二分类准确率降为 0（状态范数维持在 2.021 倍内），但在从头训练的 19M 模型中无归一化训练的外推能力更优（Cliff's delta 达 0.867）。
来源：arXiv cs.LG · arxiv.org