arXiv cs.AI· Andrew Sheinberg, Samyak Gupta, Kai Li·· 6 天前AI 评分47
通过细粒度监控揭示 GPU 集群的优化空间
Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring
AI 导读
研究团队基于 Nvidia DCGM 开发出 100 ms 采样间隔的细粒度监控工具，对拥有 89 节点、319 块 GPU 的集群展开实测。对 7,399 个任务的分析显示，超 70% 任务 GPU 显存占用低于 20%，50% 任务平均 SM 利用率不足 5%，且 80% 任务申请与实际时长严重不符。结果表明可通过优化调度和 GPU 多任务大幅提升利用率，该监控工具已开源。
来源：arXiv cs.AI · arxiv.org