把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
DeepSeek 联合清华大学发布技术报告，公开了支撑 DeepSeek-V4 系列训练、评测与数据预处理的弹性计算沙盒基础设施 DSec。该架构支持 FnCall、Container、MicroVM 与 Full VM 四种后端，通过 EROFS 镜像按需加载、可组合分层与内存共享机制实现超过 50 倍的生产超卖率，并将轨迹执行与可抢占的 GPU 训练解耦。
推荐理由：原文披露了支撑超大规模智能体训练的沙盒架构设计与压测数据，展示了高并发环境供给与超卖优化的完整工程方案。
Google 发布 Private AI Compute 架构更新，在云端引入安全的服务端持久记忆层，让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库，解密密钥完全由用户本地设备独占保管，云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果，供社区验证。
推荐理由：该架构改变了此前云端隐私计算严格无状态的限制，为跨设备持久记忆的软硬件协同防护提供了工程参考。
Together AI 发布实战教程，指导用户基于 Qwen3.5 4B 基础模型和约 3.8 万条多源数据微调类似 Jev 的专用分类模型，并将其部署为 HTTP 端点。该微调流程耗时约 25 分钟、花费约 17 美元，模型可直接解析输入状态并输出规范的 JSON 结构化判定结果。相关数据采样、清洗与部署脚本均已在 GitHub 的 tev1 仓库开源。
推荐理由：文章给出了以约 17 美元微调并部署专用分类模型的完整代码与数据处理流程，展示了针对结构化任务低成本定制轻量模型的工程实践。
OpenAI 改进了 GPT-6 的 Prompt 缓存机制，通过提高缓存命中率、新增诊断工具、引入显式断点以及精细化控制项来降低模型调用延迟与成本。该更新旨在帮助开发者优化上下文复用效率并监控缓存运行状态。
推荐理由：原文介绍了提升缓存命中率的新机制与控制项，开发者可以据此评估如何优化大模型调用延迟和接口成本。
NVIDIA 在 ROSCon 会议上正式发布 Isaac ROS 5.0 开源机器人软件栈，引入 AI 智能体开发工作流并新增对 ROS Lyrical 与 Ubuntu 24.04 的支持。
推荐理由：Isaac ROS 5.0 将智能体工作流与物理 AI 模型引入开源 ROS 生态，有助于开发者降低工业与人形机器人感知与抓取部署的工程门槛。
GitHub 团队借助 GitHub Copilot App 与 Copilot CLI，由单个工程师主导并在数月内将核心 Agent 运行时重写为超 80 万行生产级 Rust 代码。
推荐理由：复盘了借助智能体集群就地重构大型运行时的实践，为复杂遗留系统的自动化迁移提供了可落地的工程模式。
OpenAI 介绍了其在线存储系统 Habitat 的架构演进历程，阐述了该系统如何从最初的 Python 库演进为全球分布式存储平台。该平台目前支撑着超过 10 亿 ChatGPT 用户，并承载每秒 22M 次请求。
推荐理由：介绍了将内部存储系统扩展至支撑十亿级用户与高并发请求的架构演进，可为大规模在线系统设计提供参考。
Together AI 发文解析面向智能体软件开发的开源 AI 技术栈，将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查，由响应快且成本低的小模型分步执行明确任务，并借助 MCP 协议与路由器实现跨厂商无缝切换。
推荐理由：原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构，为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。
Together AI 在平台终端节点层上线大语言模型 A/B 测试功能，允许团队在保持对外接口不变的前提下，向候选模型分配固定比例的生产流量。该机制支持单对照组与最多 20 个变体模型分流，并可通过请求中的 user 字段保持会话粘性，变体部署独立监控与弹性扩缩容。测试期间可在元数据中打上部署标识以关联业务指标，验证完毕后支持一键蓝绿上线胜出模型并自动清理实验路由。
推荐理由：该功能将模型实验路由从应用层下沉至端点层，让工程团队无需侵入业务代码即可完成真实的流量灰度与质量归因。
Together AI 宣布与月之暗面（Moonshot AI）达成战略合作，成为其开源模型发布平台并原生提供 Kimi 系列模型的托管推理与后训练支持。平台首发接入 2.8T 参数的稀疏 MoE 模型 Kimi K3，支持 Serverless、预留吞吐量和独立实例三种部署形态，并提供零数据保留保障与 99% 可用性 SLA。
推荐理由：该合作让开发者能在合规的云端基础设施上即时调用月之暗面的大参数开源模型，并直接衔接微调训练与生产级推理服务。
Thinking Machines Lab 发布多模态 MoE 模型 Inkling，Together AI 同步在 Serverless 平台提供其推理服务。
推荐理由：新模型通过结合原生多模态输入与可调推理强度，让开发者能在统一接口下根据具体任务平衡延迟与算力开销。
UC Berkeley 研究团队发文探讨推理成本大幅下降对数据系统带来的重塑，系统提出面向智能体、属于智能体以及由智能体构建的三大方向。随着智能体成为主要负载，数据系统需要优化高频推测性查询并引入多属性结构化记忆以支撑智能体协作，同时探索利用智能体针对特定工作负载直接端到端合成专用数据系统。
推荐理由：文章梳理了推理成本趋近于零时数据系统架构面临的三重演变，为设计多智能体底层状态与存储基础设施提供了系统性的思考框架。
Together AI 宣布完成 8 亿美元 C 轮融资，由 Aramco Ventures、NVIDIA、Vista Equity、General Catalyst 等参投，并额外锁定超过 500 MW 算力容量承诺。
推荐理由：本轮融资不仅补充了资金还直接锁定了超 500 MW 算力承诺，有助于观察开源模型推理基础设施的规模化趋势。
Together AI 作为首选云合作伙伴，详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention，使预填充阶段加速超 9 倍、解码加速超 15 倍；同时借助 Rust 模型网关在 CPU 端预处理音视频，在典型智能体场景下将推理性能提升了 81% 至 125%。
推荐理由：文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案，对长上下文大模型的生产级部署具有直接的工程参考价值。
Together AI 详细披露了其构建极速语音转文字（ASR）系统的全链路工程实践，使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。
推荐理由：文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节，为高并发语音模型部署提供了可复现的系统级方案。
Together AI 结合在 NVIDIA HGX B200 上的早期部署实测指出，DeepSeek-V4 的 1M token 上下文核心在于通过 token 轴压缩解决推理系统压力。
推荐理由：文章从底层缓存管理拆解了 DeepSeek-V4 的混合注意力设计，为大模型长上下文推理系统的工程落地提供了具体的调优参考。
Together AI 宣布在其云平台上线 DeepSeek-V4 Pro，无服务器推理支持 512K tokens 上下文，专属基础设施支持完整 1M 上下文。
推荐理由：原文给出了超大参数混合专家模型的上下文分级部署与缓存计费细节，为长上下文长链条任务提供了工程选型参考。
Together AI 宣布在平台上线 NVIDIA Nemotron 3 Nano Omni 模型推理服务，提供全托管的专用推理支持。
推荐理由：材料解析了单一端到端模型如何统一跨模态上下文，有助于开发者评估其在降低智能体多模型串联成本上的实际价值。
Together AI 联合卡内基梅隆大学、普林斯顿大学与 Cartesia AI 推出状态空间模型 Mamba-3，核心转向以推理效率为主要设计目标。新架构引入更具表达力的指数-梯形离散化循环、基于 RoPE 的复数状态跟踪以及多输入多输出（MIMO）机制，同时移除了外部短卷积。
推荐理由：该架构从侧重训练加速转向主推推理效率，通过复数状态与多输入多输出机制在不增加解码延迟的前提下提升模型表现。
Together AI 推出实时语音智能体统一方案，将 STT、LLM 与 TTS 部署在同机房同一集群内，实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型，提供单一 API 与计费界面，同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。
推荐理由：原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案，为解决语音对话多服务跳转延迟提供了工程参考。