Token 感知机的泛化特性：Embedding 与词表的作用

研究人员提出可解析求解的“token 感知机”极简模型，利用副本方法揭示了 embedding 空间几何与词表对 token 预测泛化误差的影响。在连续球面 embedding 设定下，模型在样本负载达到 $\alpha_{\rm rec}=d^2/(d-1)$ 时能精确恢复 teacher 模型。面对离散词表时，贝叶斯最优学习器会优先解析词表方差最大的几何方向。