在 Amazon SageMaker AI 上使用 Qwen3-TTS 部署实时个性化语音
用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发，覆盖中英等 10 种语言，仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器，支持低延迟流式生成且无需管理底层 GPU 服务器。
#部署/工程
#部署/工程
今日 3 条AWS Machine Learning BlogAI 评分4444
AWS Machine Learning BlogAI 评分3131 Datacor 如何利用 Amazon Quick Sight 构建自助式租赁分析系统
Datacor 将 Amazon Quick Sight 嵌入旗下 TrackAbout 方案，构建了面向工业气体与焊接分销商的自助式租赁分析系统。该系统基于 Amazon Q in Quick Sight 生成式 BI 能力与交互式仪表板，支持业务人员直接通过自然语言查询租赁绩效与资产利用率。
Apple ML ResearchAI 评分3838 Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器
Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器，以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器，并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下，学生模型相对教师模型的 WER 差距保持在 1.9% 以内，比同容量独立训练模型相对提升 3.9%。
Microsoft ResearchAI 评分5656 微软研究院提出物理 AI 机器人推理卸载架构与评测体系
微软研究院发布针对物理 AI 与机器人推理的系统性研究，指出将模型推理从机载 GPU 卸载到边缘或云端可大幅提升任务成功率并延长续航。实测显示机载算力不足会导致建图规划变慢达 383%、VLA 动作模型准确率减半，而 Jetson Thor 等高功耗板载单元会加速消耗高达 160% 的电量。
Google DeepMind精选AI 评分6262 Google 升级 Private AI Compute：引入安全服务端记忆支持跨设备连续上下文
Google 发布 Private AI Compute 架构更新，在云端引入安全的服务端持久记忆层，让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库，解密密钥完全由用户本地设备独占保管，云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果，供社区验证。
推荐理由：该架构改变了此前云端隐私计算严格无状态的限制，为跨设备持久记忆的软硬件协同防护提供了工程参考。
NVIDIA BlogAI 评分2525 Sakeena Fiza 助力 NVIDIA 硬件实现规模化落地
NVIDIA 验证工程师 Sakeena Fiza 负责在数据中心硬件量产前排查系统故障，确保从托架、机架到集群及 AI 工厂的可靠性。其工作涵盖固件、硬件、散热与机械设计等交汇领域，曾参与全球首个 NVIDIA Rubin GPU 的系统级启动与验证。团队在单机架近 50 万个组件的复杂环境下测试极限条件，目标是在客户使用前消除潜在隐患。
Together AI Blog精选AI 评分6666 如何以 17 美元微调并部署类似 Jev 的专用分类模型
Together AI 发布实战教程，指导用户基于 Qwen3.5 4B 基础模型和约 3.8 万条多源数据微调类似 Jev 的专用分类模型，并将其部署为 HTTP 端点。该微调流程耗时约 25 分钟、花费约 17 美元，模型可直接解析输入状态并输出规范的 JSON 结构化判定结果。相关数据采样、清洗与部署脚本均已在 GitHub 的 tev1 仓库开源。
推荐理由：文章给出了以约 17 美元微调并部署专用分类模型的完整代码与数据处理流程，展示了针对结构化任务低成本定制轻量模型的工程实践。
OpenAI News精选AI 评分6262 GPT-6 改进 Prompt 缓存机制
OpenAI 改进了 GPT-6 的 Prompt 缓存机制，通过提高缓存命中率、新增诊断工具、引入显式断点以及精细化控制项来降低模型调用延迟与成本。该更新旨在帮助开发者优化上下文复用效率并监控缓存运行状态。
推荐理由：原文介绍了提升缓存命中率的新机制与控制项，开发者可以据此评估如何优化大模型调用延迟和接口成本。
NVIDIA Blog精选AI 评分6060 NVIDIA 发布 Isaac ROS 5.0，引入智能体工作流与物理 AI 支持
NVIDIA 在 ROSCon 会议上正式发布 Isaac ROS 5.0 开源机器人软件栈，引入 AI 智能体开发工作流并新增对 ROS Lyrical 与 Ubuntu 24.04 的支持。
推荐理由：Isaac ROS 5.0 将智能体工作流与物理 AI 模型引入开源 ROS 生态，有助于开发者降低工业与人形机器人感知与抓取部署的工程门槛。
Together AI BlogAI 评分5555 Together AI 推出金丝雀发布功能，支持生产模型无停机灰度升级
Together AI 推出模型金丝雀发布（Canary rollouts）功能，支持在同一终端节点上无停机迁移流量并升级线上模型。该功能提供金丝雀灰度、蓝绿切流与滚动替换三种策略，支持设置延迟与错误率等指标门控，在指标恶化时自动触发系统暂停以防止劣质模型全量上线。用户可通过 tg CLI、Python SDK 或 REST API 控制发布全流程，并支持随时冻结流量或反向回滚。
NVIDIA BlogAI 评分5252 NVIDIA 推出 DSX Ready 计划认证 AI 工厂电力与散热产品
NVIDIA 推出 NVIDIA DSX Ready 认证计划，用于认证符合其 DSX AI 工厂参考设计要求的合作伙伴供电与散热解决方案。该计划首批涵盖电池储能系统（BESS）与冷却分配单元（CDU）两个类别，首发合作方包括 Tesla、Hitachi Energy、LG Energy Solution 和 Vertiv 等，后续将逐步拓展至更多软硬件基础设施品类。
NVIDIA BlogAI 评分4141 NVIDIA：为什么规模化部署物理 AI 需要全层级安全
面对自动驾驶与机器人规模化部署的安全挑战，NVIDIA 推出首个面向物理 AI 的全栈安全系统 NVIDIA Halos。该系统覆盖硬件、软件、AI 模型与仿真验证，在自动驾驶领域整合 DRIVE AGX Thor、Halos OS 与开源端到端推理视觉语言动作模型 NVIDIA Alpamayo。在机器人领域则结合 IGX Thor 模块与 Omniverse 仿真，实现全流程安全保障。
NVIDIA BlogAI 评分3535 从赋能到落地：埃及 AI 生态系统迈向生产级规模
NVIDIA 携手埃及开发者与生态伙伴加速当地 AI 产业落地，推动埃及 AI 生态迈入生产级规模应用。埃及已获批由 Hassan Allam Utilities 与 A15 投资约 $400 million 建设新数据中心，NVIDIA Deep Learning Institute 当地学员一年内增长逾 10 倍。
NVIDIA BlogAI 评分4747 NVIDIA 详解 AI 安全工程：如何在智能体技术栈各层构建防护
NVIDIA 提出将 AI 安全视为工程问题，要求在智能体技术栈的模型、编排与运行时各层建立独立于模型推理的强制防护边界。其开源安全运行时 NVIDIA OpenShell 可提供沙箱执行并管控系统资源，已与 Cisco 和 JFrog 等伙伴协同构建治理及技能验证层。
Together AI BlogAI 评分3636 一家全球金融科技公司如何借助 Together AI 的 Dedicated Model Inference 扩展代码 Agent 流量
一家全球金融科技公司采用 Together AI 的 Dedicated Model Inference 部署 GLM-5.2，支撑其内部代码 Agent 的突发流量。该系统运行在数十张 B200 GPU 的多副本架构上，支持 256K 上下文并应对输入长度 p95 达 178K tokens 的高并发。结合 Metrics API 与自助端点控制，团队以零停机实时调优路由策略消除了请求排队延迟。
GitHub Blog · AI & ML精选AI 评分8484 GitHub 详解如何借助 Copilot 智能体将自身运行时重写为 Rust
GitHub 团队借助 GitHub Copilot App 与 Copilot CLI，由单个工程师主导并在数月内将核心 Agent 运行时重写为超 80 万行生产级 Rust 代码。
推荐理由：复盘了借助智能体集群就地重构大型运行时的实践，为复杂遗留系统的自动化迁移提供了可落地的工程模式。
NVIDIA BlogAI 评分5858 NVIDIA Vera Rubin NVL72 亮相 MLPerf Inference v6.1 评测并公布性能数据
NVIDIA 公布 MLPerf Inference v6.1 评测结果，其新系统 Vera Rubin NVL72 在 Qwen3-VL 上的吞吐量达到 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上吞吐量提升达 2.5 倍。
NVIDIA BlogAI 评分5151 Emerald AI、Google 与 NVIDIA 联合成立 AI 能源管理联盟（AEMA）推进弹性数据中心
Emerald AI、Google 和 NVIDIA 联合宣布成立 AI 能源管理联盟（AEMA），旨在推动能够根据电网状况动态调整用电的灵活 AI 数据中心建设。联盟采用技术中立和基于性能的框架，通过标准化响应指标、运行数据共享与应急削减规则，让数据中心作为可控资源接入电网以缩短并网周期。该联盟将联合计算与电力产业链各方，共同开发技术方案并推进相关政策。
Together AI BlogAI 评分4646 Together AI：如何从闭源模型迁移到开源模型
Together AI 提出从闭源大语言模型向开源模型迁移的实践策略，借助托管服务可将迁移周期从数月至数年缩短至数周到数月。企业应先明确用例，综合任务成本、token 消耗与延迟，从前沿开源、高性价比及边缘层中筛选候选模型。评估时无需构建复杂数据集，直接回放现有真实业务流量即可完成准确率与性能验证。
NVIDIA BlogAI 评分4848 从兆瓦到 Token：NVIDIA 如何最大化 AI 工厂产能
NVIDIA 展示了通过 DSX 套件优化 AI 工厂能效与产出的方案。云服务商 Lambda 在 HGX B200 集群实测显示，DSX MaxLPS 在固定电力预算下将 token 吞吐量提升 24%（从约 400 万增至 500 万 tokens/s），每瓦性能提高 23%。DSX Flex 则支持响应电网调度，在保障关键推理任务的同时将功耗从 4 兆瓦自动降至 3 兆瓦。
NVIDIA BlogAI 评分5858 NVIDIA 展示 Vera Rubin 与 DSX 平台进展，优化 AI 工厂每瓦 Token 产出能效
NVIDIA 在 AI Infra Summit 上公布了 Vera Rubin 系统与 DSX 平台的能效优化成果，将基础设施核心指标转向每兆瓦产出的智能体 token 量。
OpenAI News精选AI 评分6262 OpenAI 快速扩展在线存储以支撑超 10 亿 ChatGPT 用户
OpenAI 介绍了其在线存储系统 Habitat 的架构演进历程，阐述了该系统如何从最初的 Python 库演进为全球分布式存储平台。该平台目前支撑着超过 10 亿 ChatGPT 用户，并承载每秒 22M 次请求。
推荐理由：介绍了将内部存储系统扩展至支撑十亿级用户与高并发请求的架构演进，可为大规模在线系统设计提供参考。
Together AI BlogAI 评分3535 ThunderKittens 现已支持 NVIDIA Vera Rubin NVL72
Together 宣布 ThunderKittens 现已支持 NVIDIA Vera Rubin NVL72 平台，可用于编写高效的 NVFP4 与 FP8 GEMM 算子。
Together AI BlogAI 评分5959 Together AI 推出抢占式 GPU 算力：固定半价并提供五分钟排空缓冲
Together AI 宣布推出抢占式 GPU 算力公开预览版，适用于所有区域的 Kubernetes 集群。该服务以常规按需费率的固定 50% 计费并按亚小时计量，专为短实验、突发推理和批处理等可容忍中断的工作负载提供低成本算力。当节点被回收时，系统提供最长 5 分钟的排空时间以便保存检查点，且在空闲容量恢复后会自动重新填充节点。
Together AI Blog精选AI 评分7272 Together AI 详解开源 AI 智能体技术栈与 MIGHT 架构
Together AI 发文解析面向智能体软件开发的开源 AI 技术栈，将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查，由响应快且成本低的小模型分步执行明确任务，并借助 MCP 协议与路由器实现跨厂商无缝切换。
推荐理由：原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构，为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。
Together AI Blog精选AI 评分6161 Together AI 推出终端节点级生产环境大语言模型 A/B 测试功能
Together AI 在平台终端节点层上线大语言模型 A/B 测试功能，允许团队在保持对外接口不变的前提下，向候选模型分配固定比例的生产流量。该机制支持单对照组与最多 20 个变体模型分流，并可通过请求中的 user 字段保持会话粘性，变体部署独立监控与弹性扩缩容。测试期间可在元数据中打上部署标识以关联业务指标，验证完毕后支持一键蓝绿上线胜出模型并自动清理实验路由。
推荐理由：该功能将模型实验路由从应用层下沉至端点层，让工程团队无需侵入业务代码即可完成真实的流量灰度与质量归因。
Together AI BlogAI 评分5757 Together AI 推出面向大模型推理的自动扩缩容端点
Together AI 为专用模型推理平台推出基于推理原生指标的自动扩缩容功能，允许用户根据 inflight_requests、TTFT 和 GPU 利用率等动态调整副本数量。
Berkeley AI ResearchAI 评分4949 从 CUDA 到 MLX：K-Search 如何将数十年内核专业经验引入 Apple Silicon
研究团队为内核搜索框架 K-Search 拓展了 MLX 后端，通过结构化翻译层将 CUDA 优化经验自动迁移至 Apple Silicon。生成的 Attention 内核达到原生 MLX 0.97 倍性能，Mamba SSM 内核较社区 mlx-lm 实现取得最高 20 倍 prefill 加速。
Together AI Blog精选AI 评分8080 Together AI 与月之暗面达成战略合作，原生托管并支持 Kimi 系列开源模型
Together AI 宣布与月之暗面（Moonshot AI）达成战略合作，成为其开源模型发布平台并原生提供 Kimi 系列模型的托管推理与后训练支持。平台首发接入 2.8T 参数的稀疏 MoE 模型 Kimi K3，支持 Serverless、预留吞吐量和独立实例三种部署形态，并提供零数据保留保障与 99% 可用性 SLA。
推荐理由：该合作让开发者能在合规的云端基础设施上即时调用月之暗面的大参数开源模型，并直接衔接微调训练与生产级推理服务。
Together AI BlogAI 评分4242 Together AI 专用模型推理配置指南
Together AI 详解其专用模型推理（Dedicated Model Inference）架构，系统由固定端点 endpoint、部署 deployments 及不可变配置 configs 组成。
Together AI BlogAI 评分5656 Together AI 等开源 ThunderAgent 智能体推理调度系统，吞吐提升最高 2.5 倍
Together AI 联合佐治亚理工等机构开源智能体推理调度系统 ThunderAgent，通过程序级调度将单节点吞吐提升最高 2.5 倍并在 8 节点集群实现 2.4 倍加速。
Together AI BlogAI 评分5656 Together AI 推出 Dedicated Model Inference 生产级推理平台
Together AI 推出 Dedicated Model Inference 生产级推理平台，旨在简化开源权重、授权闭源及微调模型在生产环境中的部署与持续迭代。平台提供预优化的部署配置，支持金丝雀发布、蓝绿更新、影子流量测试以及 Prometheus 指标监控，重构的模型缓存分发层将热启动速度提升约 4 倍。此外，平台同步启动了支持全权重与 LoRA 强化学习定制训练的封闭测试。
Together AI BlogAI 评分5555 Together AI 联合 Y Combinator 为 YC 初创团队推出专属 GPU 集群
Together AI 宣布与 Y Combinator 合作推出面向 YC 初创团队的专属 GPU 集群，解决 AI 原生创业公司面临的算力获取瓶颈与资金压力。入选企业无需签订长期高额合同，即可通过 Together AI 自助门户在数分钟内弹性调配 GPU 用于推理与训练，并享受长期协议级别的优惠费率。该集群目前已处于全负荷运行状态，双方后续计划进一步扩大算力规模以支持企业持续扩张。
Together AI BlogAI 评分4545 Together AI：99.9% 正常运行时间对推理意味着什么？
Together AI 拆解了 AI 推理可用性背后的架构要求：99% 需应对单节点故障并快速重新调度，99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量，并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。
Together AI BlogAI 评分4040 Together GPU Clusters 推出更新：强化生产级 GPU 集群的可靠性与控制力
Together AI 针对 Together GPU Clusters 推出平台健康与运维控制更新，旨在保障大规模训练和推理作业的稳定运行。平台新增近乎零开销的被动健康检查并提供四种节点自动修复建议，同时基于 Slinky 推出升级版 Together Slurm-on-K8s 2.0，实现守护进程自愈、彻底清理残留进程及持久化作业核算。
Together AI Blog精选AI 评分6868 Together AI 首日上线多模态 MoE 模型 Inkling
Thinking Machines Lab 发布多模态 MoE 模型 Inkling，Together AI 同步在 Serverless 平台提供其推理服务。
推荐理由：新模型通过结合原生多模态输入与可调推理强度，让开发者能在统一接口下根据具体任务平衡延迟与算力开销。
Berkeley AI Research精选AI 评分7171 当智能近乎免费：UC Berkeley 展望面向、属于且由智能体构建的数据系统
UC Berkeley 研究团队发文探讨推理成本大幅下降对数据系统带来的重塑，系统提出面向智能体、属于智能体以及由智能体构建的三大方向。随着智能体成为主要负载，数据系统需要优化高频推测性查询并引入多属性结构化记忆以支撑智能体协作，同时探索利用智能体针对特定工作负载直接端到端合成专用数据系统。
推荐理由：文章梳理了推理成本趋近于零时数据系统架构面临的三重演变，为设计多智能体底层状态与存储基础设施提供了系统性的思考框架。
Together AI Blog精选AI 评分6565 Together AI 宣布完成 8 亿美元 C 轮融资，并锁定超 500 MW 算力承诺
Together AI 宣布完成 8 亿美元 C 轮融资，由 Aramco Ventures、NVIDIA、Vista Equity、General Catalyst 等参投，并额外锁定超过 500 MW 算力容量承诺。
推荐理由：本轮融资不仅补充了资金还直接锁定了超 500 MW 算力承诺，有助于观察开源模型推理基础设施的规模化趋势。
Together AI BlogAI 评分3939 Together AI 在 ICML 2026 展示全栈前沿研究成果
Together AI 汇总了入选 ICML 2026 的 9 篇全栈研究，覆盖从智能体到 GPU 内核的 5 个技术层级。成果包括覆盖 1,000+ 任务的 DSGym、吞吐量提升达 3.6x 的 ThunderAgent，以及基于开源 120B 模型突破纪录的 TTT-Discover。此外，自适应投机解码 Aurora 等成果已直接作为 ATLAS 解码器集成至生产平台。
Together AI BlogAI 评分5151 Together AI 推出多 GPU 内核基准 ParallelKernelBench，前沿模型编写多卡算子仍存短板
Together AI 推出面向多 GPU 内核生成的评测基准 ParallelKernelBench（PKB），包含来自真实分布式代码库的 87 个任务，评测显示前沿大模型目前难以独立编写高效的多卡通信内核。