Together AI 提出 CPD 架构：通过感知缓存预填-解码分离将长上下文大语言模型推理提速最高 40%

Together AI 推出感知缓存预填-解码分离架构 CPD，将推理划分为 Pre-Prefill、Prefill 与 Decode 三种节点，避免冷请求阻塞暖请求。系统依托三级 KV cache 层级与感知缓存路由，让冷请求写入分布式缓存、暖请求直接读取复用。评测显示，CPD 相比现有分离架构将可持续 QPS 提升最高 35–40%，并有效收紧尾部延迟界限。