arXiv stat.ML· Zi Yang, Ying Li, Alejandro Lancho, Dar\'{i}o C. Larese, Pablo M. Olmos, Michael Minyi Zhang·· 11 天前AI 评分34
用于非平稳注意力的流式谱核学习
Flow-based Spectral Kernel Learning for Nonstationary Attention
AI 导读
研究人员提出基于流的谱核注意力（FSKA）框架，通过归一化流参数化二元谱密度来学习表达力更强的非平稳核，并保持线性注意力计算的扩展性。得益于表达力提升，FSKA 移除了查询与键的投影并固定正交值投影，相比多数基线将投影相关的可训练参数量减少约 40%–47%。分类、消融和可扩展性实验显示，FSKA 达到与现有注意力机制相当或更优的性能，并保持有利的线性内存扩展。
来源：arXiv stat.ML · arxiv.org