arXiv cs.AI· Zeyu Yang, Wes Armour·· 19 天前AI 评分54
研究实测开源大语言模型跨基准、推理模式与硬件的推理能效
Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
AI 导读
一项针对 86 个开源大语言模型检查点的实测研究显示，能力相近的模型推理能效差异显著，开启思考推理模式平均会增加约 3.7 倍能耗。测试覆盖 7 个基准测试与 6 种硬件平台，发现多数配置偏离能效 Pareto 前沿，能耗比同性能配置中位数高出 2.6 至 4.8 倍。此外，FP8 量化可在分数基本不变的情况下减少约四分之一能耗，而生成 token 数量并不能完全代表实际能耗。
来源：arXiv cs.AI · arxiv.org