跳到正文
原文
Together AI Blog·· 2026-07-31AI 评分57

Together AI 推出面向大模型推理的自动扩缩容端点

Autoscaling endpoints for LLM inference

AI 导读

Together AI 为专用模型推理平台推出基于推理原生指标的自动扩缩容功能,允许用户根据 inflight_requests、TTFT 和 GPU 利用率等动态调整副本数量。

来源:Together AI Blog · together.ai