arXiv cs.LG· Hanshuai Cui, Zhiqing Tang, Zhi Yao, Jun Luo, Weijia Jia·· 16 小时前AI 评分43
RetryRoute:面向智能体图像编辑服务的重试感知模型路由
RetryRoute: Retry-Aware Model Routing for Agentic Image Editing Services
AI 导读
研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute,针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率,统筹规划重试、模型升级与放弃,并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点,在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。
来源:arXiv cs.LG · arxiv.org