arXiv cs.LG· Aur Shalev Merin·· 12 天前AI 评分37
Looped Transformer 中截断反向传播会丢失多少梯度？
How Much Gradient Does Truncated Backprop Lose in Looped Transformers?
AI 导读
一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度，发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度，但该丢失量在微调 300 步内下降了 0.07-0.22。同时，该指标未能证实比免测量的规则更能预测截断训练成本。
来源：arXiv cs.LG · arxiv.org