arXiv cs.LG· Muhammad Azlan Qazi, Alexandros Iosifidis, Qi Zhang·· 15 天前AI 评分34
TRACE:面向高效通信分布式边缘推理的 Transformer 残差激活码本编码
TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
AI 导读
研究人员提出 Trace 框架,通过在 Transformer 残差层引入矢量量化并预计算键值表,使边缘设备交换激活索引后可直接查表恢复 KV 矩阵并重叠通信与计算。
来源:arXiv cs.LG · arxiv.org