跳到正文

#产品更新

今日 3 条
3月31日周二
  1. Together AI Blog52

    Together AI 开源基于强化学习的投机采样框架 Aurora

    Together AI 开源投机采样框架 Aurora,将草稿模型训练转变为基于强化学习的在线持续学习闭环,在 Qwen3 等模型上比静态草稿模型实现额外 1.25 倍加速。该框架将推理与训练服务器解耦,利用线上请求中接受与拒绝的 token 轨迹异步更新草稿模型并进行无感热替换,有效解决了离线蒸馏成本高昂以及线上请求分布漂移导致的性能衰退问题。

3月18日周三
  1. Together AI Blog67

    Together AI 扩展微调服务,新增工具调用、推理及视觉模型微调支持

    Together AI 宣布对其微调服务进行重大扩展,原生支持工具调用、链式推理思考轨迹以及视觉语言模型(VLM)微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核,将 100B+ 参数模型的训练吞吐量最高提升至 6 倍,并支持最高 100GB 的数据集以及运行前的成本与耗时预估。

    推荐理由:原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据,读者可以据此评估复杂智能体工作流的后训练可行性与成本。

3月16日周一
3月12日周四
  1. Together AI Blog67

    Together AI 推出实时语音智能体统一构建方案

    Together AI 推出实时语音智能体统一方案,将 STT、LLM 与 TTS 部署在同机房同一集群内,实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型,提供单一 API 与计费界面,同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。

    推荐理由:原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案,为解决语音对话多服务跳转延迟提供了工程参考。

3月11日周三
3月10日周二
  1. Together AI Blog47

    Together GPU Clusters 推出自动扩缩容、全栈可观测性与自愈修复等功能

    Together AI 为 Together GPU Clusters 推出自动扩缩容、RBAC 访问控制、主动健康检查与自助节点修复等企业级功能。用户可在任务前执行 DCGM 和 InfiniBand 测试,节点故障时支持三次点击自动隔离重建,数分钟内恢复集群。平台还以私有预览形式为项目提供集成预构建 Grafana 仪表盘的全栈可观测性。

3月5日周四
  1. Together AI Blog65

    Together AI 推出 7 项技术与产品更新,涵盖内核算子、强化学习与推理优化

    Together AI 在首届 AI Native Conf 上宣布了 7 项技术与产品更新,覆盖底层内核、强化学习训练及算法级推理优化三大方向。

    推荐理由:原文完整梳理了算子到架构级的全栈技术落地方案,读者可以据此评估软硬件协同设计对大模型实时推理与智能体长上下文吞吐的具体收益。

2月12日周四