AWS Machine Learning Blog· Kevin Shabahang·2026-10-21 05:14· 13 天前AI 评分38

超越 KV cache：在 AWS Trainium2 上使用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型

Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch

AI 导读

i14 借助 TorchNeuron Native 在 AWS Trainium2 上训练并部署了 Laplace 3B 线性注意力模型。该模型将推理循环状态固定为每序列 29.5 MB，摆脱了传统 KV cache 随上下文长度增加的限制。

来源：AWS Machine Learning Blog · aws.amazon.com