arXiv cs.LG· Annabelle Sujun Tang, Wei Tang, Songyao Jiang, Tianhui Li, Shengzhe Xu, Jiin Woo, Kaan Ozkara, Youngsuk Park, Zhen Jia, Hadi Esmaeilzadeh·· 18 天前AI 评分40
如何训练小模型构建与优化 GPU 编译脚本
How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts
AI 导读
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法，使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本，模型在监督微调与带延迟奖励的强化学习后，构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
来源：arXiv cs.LG · arxiv.org