arXiv cs.AI· Srikant Bharadwaj, Ankur Mallick, Spyridon Mastorakis, Anjaly Parayil, Dhruv Deshmukh, Victor Ruehle·· 3 天前AI 评分39
GAUSS：面向 LLM 推理服务的负载感知解析与蒙特卡洛模拟器
GAUSS: A Workload-Aware Analytical and Monte-Carlo Simulator for LLM Inference Serving
AI 导读
研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS，可预测特定工作负载、引擎和加速器下的首 token 延迟（TTFT）与 token 间延迟（TBT）完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型，通过集成蒙特卡洛采样替代单 trace 回放，能有效捕捉尾部延迟并评估未部署的硬件与调度策略。
来源：arXiv cs.AI · arxiv.org