基于空间神经计算在循环架构中实现无限上下文窗口

研究人员提出一种二阶循环模型，通过偏微分方程控制的空间演化场构建高容量隐式记忆，等价于具有无边界感受野的结构化无限阶 RNN。该方法通过边际稳定性条件将梯度谱约束在单位圆上，消除了循环架构中的梯度消失与爆炸问题。实验显示，该模型以大幅减少的参数量在长程基准测试中超越其他循环模型。