arXiv cs.LG· Qingwen Lin, Boyan Xu, Shifeng Xie, Zhifeng Hao, Keli Zhang, Ruichu Cai·· 22 天前AI 评分34
HART：结合 Attention 与 RWKV 的时间序列基座模型
HART: Hybrid Attention-RWKV Time series Foundation Model
AI 导读
研究人员提出交替结合 Attention 与 RWKV 模块的时间序列基座模型 HART，以解决 RWKV-7 在非自回归预测中的长周期退化问题。该模型在 GIFT-Eval 和 TIME-Benchmark 上的综合表现优于同等规模纯 Transformer。
来源：arXiv cs.LG · arxiv.org