arXiv cs.LG· Jonathan Tapson·· 7 天前AI 评分34
延迟解码与单次乘法：重新审视量化权重的点积计算
Decode Late, Multiply Once: Rethinking the Dot Product for Quantized Weights
AI 导读
针对 1-4 bit 权重部署，研究者提出延迟解码点积重构方案，使长度为 n、k-bit 权重的点积仅需 n+2^k 次加法与至多 2^k 次解码和乘法。该方案将权重编码直接用作地址累加激活值并在末尾统一解码乘算，使乘法器数量减少 n/2^k 倍，局部权重内存缩减最高达 w_d/k。基于此设计的 SA-PE 处理单元已在 FPGA 综合中验证了硬件收益与计算等价性。
来源：arXiv cs.LG · arxiv.org