arXiv cs.LG· Shikhar Srivastava, Christopher Kanan·· 26 天前AI 评分45
LayerRoPE：动态深度幅度与角度叠加
LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
AI 导读
LayerRoPE 机制利用单一共享向量与深度条件标量替代各层归一化权重，将 Transformer 隐藏状态范数增长转化为显式深度位置编码，减少参数且 FLOPs 变动低于 0.02%。
来源：arXiv cs.LG · arxiv.org