arXiv cs.LG· Gongyue Zhang, Honghai Liu·· 2026-10-03AI 评分32
逻辑与记忆的冲突：浅层 MLP 学习高阶交互的研究
The Conflict Between Logic and Memory: Learning Higher-Order Interactions in Shallow MLPs
AI 导读
单隐层 MLP 在拟合样本时可能无法恢复底层规则，优化算法与干扰特征学习直接制约高阶交互能力的习得。在 2 至 4 阶测试中，SGD、Adam 与 Muon 在 2 阶均达 100% 峰值准确率，3 阶分别为 96.25%、50.87%、76.82%，4 阶 Muon 达 99.21%。此外，冻结干扰输入的第一层权重可将 AdamW 准确率从 44.73% 提升至 95.07%。
来源：arXiv cs.LG · arxiv.org