arXiv cs.LG· Mohammad Haroon Khawaja, Muhammad Haseeb, Mohammad Fatim Shoaib, Muhammad Tahir·· 29 天前AI 评分35
BaCP：在极稀疏神经网络中保留表征的主干对比剪枝方法
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
AI 导读
研究者提出主干对比剪枝方法 BaCP，通过将稀疏网络的嵌入向量空间与预训练、微调及历史快照模型对齐，解决非结构化剪枝在极高稀疏度下的表征崩溃问题。在 90 种设置下的评估显示，BaCP 在常规剪枝失效的极端稀疏区间大幅提升了准确率，并在表征保持完好的区间表现接近基线。
来源：arXiv cs.LG · arxiv.org