arXiv cs.LG· Sourabh Kasliwal·· 26 天前AI 评分35
Tiny Transformer 算术推理的算法草稿本与分阶段课程训练
Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers
AI 导读
针对总参数 49.3M 的 Tiny Transformer，研究者通过逐位长除法草稿本与 4 阶段课程，在 4,000 题测试集上将除法准确率从 4.0% 提升至 86.7%。训练中序列填充会产生 83% 的梯度饥饿伪影，且缺少语言预训练会导致准确率低于 2.0%。但模型在未见过的 4 位操作数上准确率跌至 0.00%，且无缓冲训练会导致除法发生灾难性遗忘。
来源：arXiv cs.LG · arxiv.org