Together AI 如何以基础研究驱动大规模高效推理

Together AI 分享了其支撑大规模高效推理的技术栈与研究成果。团队研发了 FlashAttention-4、ThunderKittens 以及开源自适应投机解码系统 Aurora，后者可带来最高 1.25x 的大语言模型推理加速，同时支持标准投机解码的 ATLAS 系统。