arXiv cs.LG· Habibur Rahaman, Swarup Bhunia·· 12 天前AI 评分36
LEAN：通过损失工程调节模型权重敏感度分布以实现高效容错神经网络
LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks
AI 导读
研究人员提出名为 LEAN 的复合正则化方法，通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项，在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍，精度损失在 0.5 个点以内，并初步验证于 3 个小型语言模型。
来源：arXiv cs.LG · arxiv.org