一家全球金融科技公司采用 Together AI 的 Dedicated Model Inference 部署 GLM-5.2，支撑其内部代码 Agent 的突发流量。该系统运行在数十张 B200 GPU 的多副本架构上，支持 256K 上下文并应对输入长度 p95 达 178K tokens 的高并发。结合 Metrics API 与自助端点控制，团队以零停机实时调优路由策略消除了请求排队延迟。
GitHub 团队借助 GitHub Copilot App 与 Copilot CLI，由单个工程师主导并在数月内将核心 Agent 运行时重写为超 80 万行生产级 Rust 代码。
推荐理由：复盘了借助智能体集群就地重构大型运行时的实践，为复杂遗留系统的自动化迁移提供了可落地的工程模式。
NVIDIA 公布 MLPerf Inference v6.1 评测结果，其新系统 Vera Rubin NVL72 在 Qwen3-VL 上的吞吐量达到 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上吞吐量提升达 2.5 倍。
单相直接液冷技术被验证可应对未来超高密度计算，有效化解 AI 与高性能计算激增的散热挑战。在现代 AI 加速芯片功耗超过 1,000 瓦、单机架功耗突破 100 千瓦且传统风冷逼近极限的背景下，该方案通过贴装于发热部件的冷板在闭环中循环水或水-乙二醇冷却液高效导出热量。相关研究还系统对比了其与两相液冷及浸没式液冷的架构差异。
Emerald AI、Google 和 NVIDIA 联合宣布成立 AI 能源管理联盟（AEMA），旨在推动能够根据电网状况动态调整用电的灵活 AI 数据中心建设。联盟采用技术中立和基于性能的框架，通过标准化响应指标、运行数据共享与应急削减规则，让数据中心作为可控资源接入电网以缩短并网周期。该联盟将联合计算与电力产业链各方，共同开发技术方案并推进相关政策。
Together AI 提出从闭源大语言模型向开源模型迁移的实践策略，借助托管服务可将迁移周期从数月至数年缩短至数周到数月。企业应先明确用例，综合任务成本、token 消耗与延迟，从前沿开源、高性价比及边缘层中筛选候选模型。评估时无需构建复杂数据集，直接回放现有真实业务流量即可完成准确率与性能验证。
NVIDIA 展示了通过 DSX 套件优化 AI 工厂能效与产出的方案。云服务商 Lambda 在 HGX B200 集群实测显示，DSX MaxLPS 在固定电力预算下将 token 吞吐量提升 24%（从约 400 万增至 500 万 tokens/s），每瓦性能提高 23%。DSX Flex 则支持响应电网调度，在保障关键推理任务的同时将功耗从 4 兆瓦自动降至 3 兆瓦。
NVIDIA 在 AI Infra Summit 上公布了 Vera Rubin 系统与 DSX 平台的能效优化成果，将基础设施核心指标转向每兆瓦产出的智能体 token 量。
随着推理模型和智能体的大规模落地，AI 硬件竞赛重心正从预训练算力全面转向推理阶段的内存与带宽优化。由于自回归解码高度受制于权重读取与 KV cache 传输，各大巨头与初创公司正尝试堆叠计算与 DRAM、片上集成大容量 SRAM、混合异构芯片池以及 4 位量化等软硬件协同路线。分析指出，推理需求的持续膨胀将推动 AI 硬件走向类似 CPU 时代的多元架构创新周期。
OpenAI 介绍了其在线存储系统 Habitat 的架构演进历程，阐述了该系统如何从最初的 Python 库演进为全球分布式存储平台。该平台目前支撑着超过 10 亿 ChatGPT 用户，并承载每秒 22M 次请求。
推荐理由：介绍了将内部存储系统扩展至支撑十亿级用户与高并发请求的架构演进，可为大规模在线系统设计提供参考。
Together 宣布 ThunderKittens 现已支持 NVIDIA Vera Rubin NVL72 平台，可用于编写高效的 NVFP4 与 FP8 GEMM 算子。
Together AI 宣布推出抢占式 GPU 算力公开预览版，适用于所有区域的 Kubernetes 集群。该服务以常规按需费率的固定 50% 计费并按亚小时计量，专为短实验、突发推理和批处理等可容忍中断的工作负载提供低成本算力。当节点被回收时，系统提供最长 5 分钟的排空时间以便保存检查点，且在空闲容量恢复后会自动重新填充节点。
Together AI 发文解析面向智能体软件开发的开源 AI 技术栈，将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查，由响应快且成本低的小模型分步执行明确任务，并借助 MCP 协议与路由器实现跨厂商无缝切换。
推荐理由：原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构，为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。
Together AI 在平台终端节点层上线大语言模型 A/B 测试功能，允许团队在保持对外接口不变的前提下，向候选模型分配固定比例的生产流量。该机制支持单对照组与最多 20 个变体模型分流，并可通过请求中的 user 字段保持会话粘性，变体部署独立监控与弹性扩缩容。测试期间可在元数据中打上部署标识以关联业务指标，验证完毕后支持一键蓝绿上线胜出模型并自动清理实验路由。
推荐理由：该功能将模型实验路由从应用层下沉至端点层，让工程团队无需侵入业务代码即可完成真实的流量灰度与质量归因。
Sebastian Raschka 发布了一套从零构建 AI 文本检测器的实践教程，演示如何通过微调 DistilBERT 分类器输出 0-100 的生成概率分值。项目涵盖模型评估、微调训练与本地部署，不仅构建了支持整篇与分块打分的浏览器 UI 及 API，还将检测器用作验证器以探讨小语言模型对抗检测与实际局限性。
Together AI 为专用模型推理平台推出基于推理原生指标的自动扩缩容功能，允许用户根据 inflight_requests、TTFT 和 GPU 利用率等动态调整副本数量。
研究团队为内核搜索框架 K-Search 拓展了 MLX 后端，通过结构化翻译层将 CUDA 优化经验自动迁移至 Apple Silicon。生成的 Attention 内核达到原生 MLX 0.97 倍性能，Mamba SSM 内核较社区 mlx-lm 实现取得最高 20 倍 prefill 加速。
Together AI 宣布与月之暗面（Moonshot AI）达成战略合作，成为其开源模型发布平台并原生提供 Kimi 系列模型的托管推理与后训练支持。平台首发接入 2.8T 参数的稀疏 MoE 模型 Kimi K3，支持 Serverless、预留吞吐量和独立实例三种部署形态，并提供零数据保留保障与 99% 可用性 SLA。
推荐理由：该合作让开发者能在合规的云端基础设施上即时调用月之暗面的大参数开源模型，并直接衔接微调训练与生产级推理服务。
Together AI 详解其专用模型推理（Dedicated Model Inference）架构，系统由固定端点 endpoint、部署 deployments 及不可变配置 configs 组成。
Together AI 联合佐治亚理工等机构开源智能体推理调度系统 ThunderAgent，通过程序级调度将单节点吞吐提升最高 2.5 倍并在 8 节点集群实现 2.4 倍加速。
Together AI 推出 Dedicated Model Inference 生产级推理平台，旨在简化开源权重、授权闭源及微调模型在生产环境中的部署与持续迭代。平台提供预优化的部署配置，支持金丝雀发布、蓝绿更新、影子流量测试以及 Prometheus 指标监控，重构的模型缓存分发层将热启动速度提升约 4 倍。此外，平台同步启动了支持全权重与 LoRA 强化学习定制训练的封闭测试。
Together AI 宣布与 Y Combinator 合作推出面向 YC 初创团队的专属 GPU 集群，解决 AI 原生创业公司面临的算力获取瓶颈与资金压力。入选企业无需签订长期高额合同，即可通过 Together AI 自助门户在数分钟内弹性调配 GPU 用于推理与训练，并享受长期协议级别的优惠费率。该集群目前已处于全负荷运行状态，双方后续计划进一步扩大算力规模以支持企业持续扩张。
Together AI 拆解了 AI 推理可用性背后的架构要求：99% 需应对单节点故障并快速重新调度，99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量，并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。
Together AI 针对 Together GPU Clusters 推出平台健康与运维控制更新，旨在保障大规模训练和推理作业的稳定运行。平台新增近乎零开销的被动健康检查并提供四种节点自动修复建议，同时基于 Slinky 推出升级版 Together Slurm-on-K8s 2.0，实现守护进程自愈、彻底清理残留进程及持久化作业核算。
Thinking Machines Lab 发布多模态 MoE 模型 Inkling，Together AI 同步在 Serverless 平台提供其推理服务。
推荐理由：新模型通过结合原生多模态输入与可调推理强度，让开发者能在统一接口下根据具体任务平衡延迟与算力开销。
UC Berkeley 研究团队发文探讨推理成本大幅下降对数据系统带来的重塑，系统提出面向智能体、属于智能体以及由智能体构建的三大方向。随着智能体成为主要负载，数据系统需要优化高频推测性查询并引入多属性结构化记忆以支撑智能体协作，同时探索利用智能体针对特定工作负载直接端到端合成专用数据系统。
推荐理由：文章梳理了推理成本趋近于零时数据系统架构面临的三重演变，为设计多智能体底层状态与存储基础设施提供了系统性的思考框架。
Together AI 宣布完成 8 亿美元 C 轮融资，由 Aramco Ventures、NVIDIA、Vista Equity、General Catalyst 等参投，并额外锁定超过 500 MW 算力容量承诺。
推荐理由：本轮融资不仅补充了资金还直接锁定了超 500 MW 算力承诺，有助于观察开源模型推理基础设施的规模化趋势。
Together AI 汇总了入选 ICML 2026 的 9 篇全栈研究，覆盖从智能体到 GPU 内核的 5 个技术层级。成果包括覆盖 1,000+ 任务的 DSGym、吞吐量提升达 3.6x 的 ThunderAgent，以及基于开源 120B 模型突破纪录的 TTT-Discover。此外，自适应投机解码 Aurora 等成果已直接作为 ATLAS 解码器集成至生产平台。
Sebastian Raschka 撰文梳理了使用开源模型搭建全本地编码智能体的完整实践方案，重点探讨了模型运行、安全审计与框架选型。文章指导如何通过 Ollama 本地部署 Qwen3.6 35B 和 North Mini Code 等模型，并分别接入 Qwen-Code、Codex CLI 以及 Claude Code 进行实测。
Together AI 推出面向多 GPU 内核生成的评测基准 ParallelKernelBench（PKB），包含来自真实分布式代码库的 87 个任务，评测显示前沿大模型目前难以独立编写高效的多卡通信内核。
Together AI 宣布获得由第三方机构 A-LIGN 颁发的 ISO 27001:2022 认证，确认其信息安全管理体系符合最新国际标准。该认证范围涵盖 Together AI 全球平台、企业总部及第三方数据中心，与其现有的 SOC 2 框架形成互补，为企业运行生产级 AI 工作负载提供更严格的数据安全与合规保障。
Together AI 作为首选云合作伙伴，详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention，使预填充阶段加速超 9 倍、解码加速超 15 倍；同时借助 Rust 模型网关在 CPU 端预处理音视频，在典型智能体场景下将推理性能提升了 81% 至 125%。
推荐理由：文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案，对长上下文大模型的生产级部署具有直接的工程参考价值。
Together AI 详细披露了其构建极速语音转文字（ASR）系统的全链路工程实践，使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。
推荐理由：文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节，为高并发语音模型部署提供了可复现的系统级方案。
Together AI 推出面向高并发、长上下文编程智能体场景的推理基准测试，并在 Kimi K2.5 上对比了其推理引擎与 TensorRT-LLM 及 SGLang 的性能。
Together AI 宣布与 Pearl Research Labs 达成独家合作，推出价格优惠超过 25% 的 Gemma-4-31B-it-pearl 模型推理端点。该服务依托 Pearl 网络的有用工作量证明机制，在训练与推理的前向及反向传播矩阵乘法中生成 ¶PRL 加密货币来抵消算力开销。Together AI 计划未来将该机制扩展至更多产品组合，并允许客户直接获取部分代币收益。
Together AI 结合在 NVIDIA HGX B200 上的早期部署实测指出，DeepSeek-V4 的 1M token 上下文核心在于通过 token 轴压缩解决推理系统压力。
推荐理由：文章从底层缓存管理拆解了 DeepSeek-V4 的混合注意力设计，为大模型长上下文推理系统的工程落地提供了具体的调优参考。
BAIR 发文综述自适应并行推理（APR）范式，探讨大语言模型如何自主决定子任务拆解、并发分支数量与协同控制，以解决串行长链推理导致的端到端延迟与上下文退化问题。
Together AI 介绍了利用 CLI 智能体 Goose 与官方容器技能将 Hugging Face 任意模型部署至专属容器推理（DCI）服务的方法。开发者只需输入模型链接，智能体即可自动解析架构、生成容器配置并完成部署，文章以 Netflix 发布的 void-model 视频交互消除模型演示了部署与异步推理流程。
Together AI 分享了其支撑大规模高效推理的技术栈与研究成果。团队研发了 FlashAttention-4、ThunderKittens 以及开源自适应投机解码系统 Aurora，后者可带来最高 1.25x 的大语言模型推理加速，同时支持标准投机解码的 ATLAS 系统。
Together AI 宣布与 Adaption 达成合作，将 Together Fine-Tuning 微调服务接入 Adaptive Data 平台。用户优化数据后可直接在其基础设施上运行 LoRA 或全量微调，支持 Kimi K2.5、GLM 5.1、Qwen 3.5-397B 等超 100B 参数开源模型，并可直接部署至高性能推理服务或导出至 Hugging Face Hub。