arXiv stat.ML· Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim·· 12 天前AI 评分34
用于学习稳定二值表征的复合激活函数
A Composite Activation Function for Learning Stable Binary Representations
AI 导读
研究人员提出重尾激活函数（HTAF），作为 Heaviside 函数的平滑近似，以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成，在零输入附近保留较大梯度且尾部衰减更慢，能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型（ICBM）实现了特征离散化，在图像数据集上取得媲美或优于标准模型的预测表现。
来源：arXiv stat.ML · arxiv.org