arXiv cs.LG· Alasdair Paren·· 4 天前AI 评分34
探究 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
Sometimes less is more: Investigating inductive biases of MLPs and Transformers on noisy k-parity features
AI 导读
一项研究表明，Transformer 与 MLP 在处理噪声 k-parity 特征时表现出截然相反的归纳偏置：Transformer 对噪声特征更具鲁棒性但难以学习复杂的低可用性特征，MLP 则相反且能随数据增加稳步提升。在固定训练预算下，增加训练样本数量会显著减缓 Transformer 的优化速度并降低最终准确率，导致较小数据集的表现反倒更优。
来源：arXiv cs.LG · arxiv.org