Transformer Programs 中准确率所掩盖的问题

研究发现 Transformer Programs（TP）的高 token 准确率会掩盖完整的错误答案，通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP，针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后，重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降，且受限操作组合可能消耗多层结构或大查找表。