IrekoGPT：将结构化剪枝转化为事后可瘦身大语言模型

IrekoGPT 是一种将预训练 LLM 转化为推理时可动态调节宽度的事后瘦身方法。该方法基于 SliceGPT 保留其投影矩阵以构建嵌套子网络，通过多压缩比层校准及无梯度岭回归校正下游线性层。在 Llama 和 Qwen 模型上的测试显示其表现优于朴素 PCA 方案且在高压缩比下收益最大，相关代码已开源。