arXiv cs.LG· Hanfei Liu, Shuchang Feng, Yanxia Chen, Changzeng Fu, Shiqi Zhao·· 25 天前AI 评分34
反思脉冲语言模型中时间编码与非线性计算的权衡
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
AI 导读
Spora 针对脉冲语言模型联合设计脉冲编码与注意力算子，利用二进制时间权重让 T 个脉冲可表示最高 T 位的组合容量。在 4 个时间步下，Spora 取得 76.6 的 GLUE 平均分与 44.1 的 CoLA MCC，分别比 SpikeLM 提高 1.2 和 6.2 分。将 BBS 扩展至 6 个时间步后，两项评分进一步提升至 78.2 与 47.4。
来源：arXiv cs.LG · arxiv.org