arXiv cs.LG· Syed Ibrahim Omer, Ginny Y. Wong. Xiangyu Zhao·· 26 天前AI 评分34
MaRK:状态空间模型中用于动态算子条件化的马尔可夫自适应循环核
MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models
AI 导读
MaRK 提出了面向状态空间模型(SSM)的动态算子条件化框架,将上下文向量直接映射为冻结 SSM 循环参数的有界调制以重塑记忆核。在 111M 参数 Hydra SSM 骨干上,该方法仅需 6.3–11M 可训练参数即可完成扩散适配,并具备解析稳定性保证。其中切比雪夫变体表现最佳,平均验证损失达 2.55,优于 DCT(2.59)与 Hypernet(3.77)。
来源:arXiv cs.LG · arxiv.org