arXiv cs.LG· Ka\u{g}an Akman, Jake Feldman Starosta, Naci Saldi, Serdar Y\"uksel·· 16 小时前AI 评分33
最优训练的 Transformer 何时能在非马尔可夫数据上实现近无损 token 预测？
When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?
AI 导读
理论研究证明，在平稳遍历或滤波器稳定条件下，最优训练的 Transformer 能随上下文长度增加在非马尔可夫数据上实现预测误差任意小的近无损 token 预测。该研究构建了深度为 M+1 且每层单头的模型架构，指出平稳遍历源的误差受熵间隙界定，而 N 阶马尔可夫源的误差随窗口长度 M 呈指数衰减。
来源：arXiv cs.LG · arxiv.org