arXiv cs.LG· Andreas Kirsch·· 6 天前AI 评分34
具有共享 KV Cache 的 LSTM 风格循环 Transformer
LSTM-Style Looped Transformers with Shared KV Caches
AI 导读
研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer，在 1024 宽度下参数量减少 40.4%，持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配，该方法在训练后 10% 引入一致性损失，在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下，权重绑定的损失代价在低预算时更小。
来源：arXiv cs.LG · arxiv.org