arXiv cs.LG· Ahmed Nebli·· 25 天前AI 评分32
Phase-HDC：在离散相位学习中用梯度阈值替代优化器历史
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
AI 导读
Phase-HDC 提出以梯度阈值替代优化器动量历史，使低比特相位模型训练时除模型本身外无需存储优化器状态。在 11 个数据集上，其逻辑状态存储比 float32 Adam 减少 16–23 倍、比 8-bit Adam 减少 4–6 倍，且准确率能匹配 6-bit 动量 Adam。其准确率虽比 float32 Adam 低约 5 个百分点，但在 6 个数据集上反超了 8-bit Adam。
来源：arXiv cs.LG · arxiv.org