空间归纳头：多维元胞自动机的上下文学习

研究提出空间归纳头（spatial induction heads），揭示 Transformer 架构如何通过两层“收集与匹配”电路在扁平化多维元胞自动机中实现上下文学习。该电路第一层重构空间局部邻域，第二层实现贝叶斯计数以匹配历史模式。实验表明两层 Transformer 成功泛化至一维和二维未见规则，在随机规则下与贝叶斯最优预测器的 KL 散度小于 0.005 nats。