LLM 压缩的能力缩容定律研究

研究人员系统探索了大语言模型在剪枝、量化与知识蒸馏压缩下的能力缩容定律，构建了预测数学、代码及问答能力损失的关系模型。在 Pythia、OLMo-2 及 Wanda 剪枝测试中，紧凑预测关系将剪枝拟合所需测量量减半，数学和代码评估误差在 0.020 nats per token 内。该方法能有效指导压缩策略选型，相关代码已开源。