arXiv cs.LG· Sergey Salishev, Zeev Volkovich, Oleg Granichin·· 12 天前AI 评分34
将 Transformer 视为通用深度神经网络：精确编译、移除激活乘积的代价与多智能体注意力聚类
Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering
AI 导读
Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络，摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类，每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致，并可直接应用标准训练后量化。
来源：arXiv cs.LG · arxiv.org