arXiv cs.LG· Muhammad Sabbir Alam, Harindra Sandun Mavikumbure, Victor Cobilean, Milos Manic, Jayasimha Atulasimha·· 12 天前AI 评分32
面向电力负荷预测的极低状态量化 Transformer
Extreme Low-State Quantized Transformer for Electricity-Load Forecasting
AI 导读
研究人员针对电力负荷预测提出了基于 Transformer 的极低状态（3、5、7 和 16 状态）权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点，而感知量化微调（QAT-FT）成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%，为多值突触器件的低功耗边缘预测提供了紧凑实现路径。
来源：arXiv cs.LG · arxiv.org