arXiv cs.LG· Zihao Chen, Zhili Xiao, Rui-Jie Zhu, Yipeng Wang, Jason Eshraghian, Shantanu Chakrabartty·· 15 天前AI 评分38
用于二值与三值 AI 模型边缘端训练的噪声整形采样与退火方法
Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models
AI 导读
研究者提出面向二值与三值神经网络的优化器 $\Sigma\Delta$-Sampler，通过在一阶 $\Sigma\Delta$ 噪声整形环路中嵌入随机采样与退火步骤，实现离散权重在崎岖损失地形中的平滑下降。
来源：arXiv cs.LG · arxiv.org