Together AI 开源基于强化学习的投机采样框架 Aurora
Together AI 开源投机采样框架 Aurora,将草稿模型训练转变为基于强化学习的在线持续学习闭环,在 Qwen3 等模型上比静态草稿模型实现额外 1.25 倍加速。该框架将推理与训练服务器解耦,利用线上请求中接受与拒绝的 token 轨迹异步更新草稿模型并进行无感热替换,有效解决了离线蒸馏成本高昂以及线上请求分布漂移导致的性能衰退问题。
Together AI 开源投机采样框架 Aurora,将草稿模型训练转变为基于强化学习的在线持续学习闭环,在 Qwen3 等模型上比静态草稿模型实现额外 1.25 倍加速。该框架将推理与训练服务器解耦,利用线上请求中接受与拒绝的 token 轨迹异步更新草稿模型并进行无感热替换,有效解决了离线蒸馏成本高昂以及线上请求分布漂移导致的性能衰退问题。
Together AI 宣布对其微调服务进行重大扩展,原生支持工具调用、链式推理思考轨迹以及视觉语言模型(VLM)微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核,将 100B+ 参数模型的训练吞吐量最高提升至 6 倍,并支持最高 100GB 的数据集以及运行前的成本与耗时预估。
推荐理由:原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据,读者可以据此评估复杂智能体工作流的后训练可行性与成本。
Together AI 在 NVIDIA GTC 2026 上宣布多项基础设施与模型服务更新,已将开源推理软件 NVIDIA Dynamo 1.0 引入自身推理栈,并支持托管 NVIDIA OpenShell 智能体运行环境。
Together AI 推出实时语音智能体统一方案,将 STT、LLM 与 TTS 部署在同机房同一集群内,实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型,提供单一 API 与计费界面,同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。
推荐理由:原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案,为解决语音对话多服务跳转延迟提供了工程参考。
Together AI 宣布在其 Dedicated Inference 平台上线 NVIDIA Nemotron 3 Super,支持开发者免去 GPU 运维直接部署该 120B 开源权重模型。
推荐理由:平台为长上下文混合架构模型提供了单卡部署与托管算力,工程团队无需自建集群即可直接落地智能体推理。
Together AI 为 Together GPU Clusters 推出自动扩缩容、RBAC 访问控制、主动健康检查与自助节点修复等企业级功能。用户可在任务前执行 DCGM 和 InfiniBand 测试,节点故障时支持三次点击自动隔离重建,数分钟内恢复集群。平台还以私有预览形式为项目提供集成预构建 Grafana 仪表盘的全栈可观测性。
Together AI 在首届 AI Native Conf 上宣布了 7 项技术与产品更新,覆盖底层内核、强化学习训练及算法级推理优化三大方向。
推荐理由:原文完整梳理了算子到架构级的全栈技术落地方案,读者可以据此评估软硬件协同设计对大模型实时推理与智能体长上下文吞吐的具体收益。
Together AI 推出专用于自定义生成式媒体模型的 Dedicated Container Inference 托管服务,支持开发者自带 Docker 容器部署视频生成、数字人合成等非纯文本模型,客户实测获得 1.4 至 2.6 倍的推理加速。