arXiv stat.ML· Viktor Stein, Levin Maier, Wuchen Li, Gabriele Steidl·· 11 天前AI 评分34
SympFormer：基于概率测度空间阻尼哈密顿动力学的惯性注意力模块
SympFormer: Inertial Attention Blocks from Damped Hamiltonian Dynamics on Spaces of Probability Measures
AI 导读
研究者提出基于概率密度空间惯性阻尼哈密顿动力学的加速注意力模块 SympFormer，为 softmax 注意力与线性注意力建立了严格的几何与微分流理论。该工作推导了连续矩爆炸与离散层深度 token 范数阈值的定量关联，并针对有限 token 几何提出更新校正。
来源：arXiv stat.ML · arxiv.org