FluidPD：面向 SLO 感知的大语言模型 Prefill-Decode 分离推理原位弹性系统

FluidPD 是面向大语言模型 Prefill-Decode 分离推理的原位弹性系统，解决负载动态失衡导致的 SLO 违规。系统通过 FluidToken 将部分预填充计算卸载至解码节点应对瞬时失衡，并利用 FluidRole 原位切换节点角色应对持续失衡，无需重载模型。在 Azure 生产负载测试中，FluidPD 相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点。