arXiv cs.AI· Gabriel Wedson Mendon\c{c}a de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa, Francisco Galuppo Azevedo·· 11 天前AI 评分40
关系基础模型预训练 Speedrun：首个 Relational Transformers 排行榜 modded-nanoRT
Speedrunning Relational Foundation Model Pretraining
AI 导读
研究人员推出首个面向 Relational Transformers 的预训练 Speedrun 排行榜 modded-nanoRT。该方案结合 typed trilinear attention 算子、Muon 与 SIGReg，在单块 NVIDIA H200 上仅耗时 305.63 秒达到质量目标，比参考实现提速 8.11x，并在开发库外赢下 15 组对比中的 13 组。相关基准与代码已开源。
来源：arXiv cs.AI · arxiv.org