线性注意力能在上下文学习中从非线性教师学到什么？

理论研究表明，线性注意力在上下文学习中存在“非线性-噪声等价性”，仅能提取非线性目标的线性 Hermite 分量，其余非线性结构则作为有效噪声计入泛化误差。该等价性使线性理论能够迁移至非线性任务，并解释了有限预训练数据及任务多样性增加时从记忆到泛化的转变，为分析非线性上下文学习提供了易处理的理论起点。