arXiv stat.ML· Jiangfeng Chen, Xinyu Wang, Tianshuo Yan, Hanwei Wu, Xiao-Wen Chang, Yang Zhang, Lei Ding·· 2026-10-02AI 评分35
面向大语言模型注意力机制的顺序函数结构化 Tucker 压缩（FTC）
Sequential Functional Structured Tucker Compression for Large Language Model Attentions
AI 导读
研究人员提出用于大语言模型注意力机制的顺序结构化压缩框架 FTC，在固定存储预算下联合利用原生 Q/K/V 头结构并自适应调整表征偏移，且无需微调或基于梯度的恢复。在 6B 至 32B 参数的 7 款 decoder-only 模型测试中，FTC 在 5 款 GQA 模型的所有测试保留率下均取得最低 WikiText-2 困惑度，其优势在激进压缩与下游任务中尤为显著。
来源：arXiv stat.ML · arxiv.org