arXiv cs.LG· Nilushika Udayangania, Kishor Nandakishora, Marimuthu Palaniswami·· 27 天前AI 评分25
学会记忆：面向紧凑循环神经网络的记忆保持蒸馏
Learning to Remember: Distilling Memory Retention for Compact Recurrent Neural Networks
AI 导读
研究人员提出面向时间序列分析的新型知识蒸馏框架 MemKD，用于构建紧凑高效的循环神经网络。MemKD 通过专用损失函数捕获教师与学生模型在时间序列子序列间的记忆保持差异，确保紧凑的学生模型有效模拟教师行为。实验显示该框架显著优于现有 SOTA 知识蒸馏方法，在多种压缩率下均能匹敌教师模型表现，并大幅降低参数量与内存占用。
来源：arXiv cs.LG · arxiv.org