跳到正文

#部署/工程

今日 4 条
10月1日周四
9月30日周三
  1. The Decoder72

    深度求索开源华为昇腾芯片编程工具 TileLang，推进软硬件生态协同

    深度求索（DeepSeek）宣布开源面向华为昇腾（Ascend）AI 芯片的编程工具与计算通信库，核心是源自北京大学研究团队的编程语言 TileLang。双方还联合优化了由 128 颗昇腾 950 芯片构成的超节点集群，TileLang 旨在提供比 CUDA 更简化的编程模型以释放硬件性能，现已成为深度求索通用人工智能（AGI）研发的主力工具。

  2. TechCrunch · AI50

    持久化基础设施初创公司 Restate 获 2000 万美元 A 轮融资

    持久化工作流基础设施初创公司 Restate 宣布完成 2000 万美元 A 轮融资，由 Singular 领投、Redpoint Ventures 和 Capital One Ventures 参投。针对 AI 智能体工作流运行耗时长且路径不可预测的容错需求，Restate 自主开发了存储与冗余层，提供防崩溃与抗断网的轻量执行引擎，已签约包括 Replit 及财富 500 强企业在内的客户。

  4. Cloudflare Blog66

    Cloudflare 开启 Monetization Gateway 内测：利用 HTTP 402 为 AI 智能体调用按次收费

    Cloudflare 宣布推出 Monetization Gateway 内测版，允许域名所有者通过 HTTP 402 状态码直接向访问网站、API、MCP 工具或数据集的 AI 智能体按次收费。

    推荐理由：该功能将 HTTP 402 与稳定币结合，为数据与 API 服务商免去账号绑定、直接按次向 AI 智能体收费提供了可落地的基础设施方案。

  5. Cloudflare Blog69

    Cloudflare AI Gateway 推出 Auto Router 公测版

    Cloudflare 宣布在 AI Gateway 中公测上线 Auto Router（模型标识为 cloudflare/auto），可根据任务类型与复杂度自动将请求分发给合适的大语言模型，避免全量调用昂贵的前沿模型。

    推荐理由：原文详解了基于任务分类与缓存读写惩罚的双阶段动态路由机制，为多模型混合调用的成本优化提供了可参考的工程落地思路。

  6. Cloudflare Blog64

    Cloudflare AI Gateway 升级 User Insights：新增模型过度使用检测与自动路由功能

    Cloudflare AI Gateway 更新 User Insights 功能，新增任务分类分析与“Model Overkill”视图，帮助团队识别将高能力推理模型用于简单总结等过度使用行为。

    推荐理由：提供了结合任务分类识别模型大材小用的分析方案，读者可以借鉴其从会话意图和交互轮次优化调用成本的工程思路。

  8. 量子位79

    DeepSeek 公布智能体沙盒基础设施 DSec 技术报告

    DeepSeek 联合清华大学发布技术报告，公开了支撑 DeepSeek-V4 系列训练、评测与数据预处理的弹性计算沙盒基础设施 DSec。该架构支持 FnCall、Container、MicroVM 与 Full VM 四种后端，通过 EROFS 镜像按需加载、可组合分层与内存共享机制实现超过 50 倍的生产超卖率，并将轨迹执行与可抢占的 GPU 训练解耦。

    推荐理由：原文披露了支撑超大规模智能体训练的沙盒架构设计与压测数据，展示了高并发环境供给与超卖优化的完整工程方案。

  9. arXiv cs.LG35

    HeadGuard：低比特 VLM KV cache 量化的选择性注意力头保护方法

    HeadGuard 是一种低比特 VLM KV cache 保护方法，通过将约 1/8 关键物理头保留在 BF16 精度以大幅挽回量化精度损失。在 8 款 VLM 测试中，千问（Qwen）与 InternVL 提升最显著，2 bits 下 8 款模型的 6 项判别任务均分从 0.436 提升至 0.580。该方法无需替换底层量化器，且仅保护 keys 就能以更低存储开销实现显著恢复。

9月29日周二
  2. MIT Technology Review · AI25

    让 AI 成为资产而非支出

    随着企业 AI 从实验走向生产环境，单纯按 token 计费会导致支出波动且难预测，企业需评估转向投资与控制专有算力容量。当智能助手和智能体工作流形成持续需求时，高利用率可推动跨越成本拐点，通过共享基础设施摊薄固定成本。只有将技术与业务治理、工作负载调度结合，才能将 AI 算力从单纯开销转化为可优化的生产性资产。

  3. AWS Machine Learning Blog52

    xAI Grok 4.7 正式上线 Amazon Bedrock

    xAI 旗下的大模型 Grok 4.7 正式上线 Amazon Bedrock，提供 500K context window 并支持四档可配置推理力度。该模型接入跨区域推理配置文件，同时兼容 OpenAI SDK 与 AWS Converse API，并支持隐式提示词缓存、Bedrock Guardrails 护栏和结构化输出。

9月28日周一
  1. AWS Machine Learning Blog48

    使用 Amazon Nova Act 实现合成监控

    Amazon Nova Act 联合 Amazon Bedrock AgentCore 可实现智能体驱动的合成监控，用于自动化巡检登录、支付等关键用户旅程。其依托多模态大语言模型直接分析 UI 截图并执行自然语言操作，无需维护易碎的 DOM 选择器，在早期企业客户用例中浏览器工作流准确率超过 90%。

9月26日周六
  1. AWS Machine Learning Blog39

    在 Amazon EKS 上借助 EFA 和 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%

    AWS 提出结合 Amazon EKS、EFA 与 DeepEP 的架构方案，针对 MoE 模型的 RLHF 和 GRPO 大规模强化学习后训练进行优化，实现训练吞吐量提升 40%。该方案解决了 Rollout 推理生成与策略训练之间的异构资源协同难题，并利用 DeepEP 优化专家并行（EP）在 EFA 上的跨节点动态 all-to-all 通信瓶颈。

  4. AWS Machine Learning Blog44

    在 Amazon SageMaker AI 上使用 Qwen3-TTS 部署实时个性化语音

    用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发，覆盖中英等 10 种语言，仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器，支持低延迟流式生成且无需管理底层 GPU 服务器。

9月25日周五
9月24日周四
  1. Apple ML Research38

    Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器

    Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器，以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器，并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下，学生模型相对教师模型的 WER 差距保持在 1.9% 以内，比同容量独立训练模型相对提升 3.9%。

  2. Microsoft Research56

    微软研究院提出物理 AI 机器人推理卸载架构与评测体系

    微软研究院发布针对物理 AI 与机器人推理的系统性研究，指出将模型推理从机载 GPU 卸载到边缘或云端可大幅提升任务成功率并延长续航。实测显示机载算力不足会导致建图规划变慢达 383%、VLA 动作模型准确率减半，而 Jetson Thor 等高功耗板载单元会加速消耗高达 160% 的电量。

  3. Google DeepMind62

    Google 升级 Private AI Compute：引入安全服务端记忆支持跨设备连续上下文

    Google 发布 Private AI Compute 架构更新，在云端引入安全的服务端持久记忆层，让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库，解密密钥完全由用户本地设备独占保管，云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果，供社区验证。

    推荐理由：该架构改变了此前云端隐私计算严格无状态的限制，为跨设备持久记忆的软硬件协同防护提供了工程参考。

9月23日周三
  1. NVIDIA Blog25

    Sakeena Fiza 助力 NVIDIA 硬件实现规模化落地

    NVIDIA 验证工程师 Sakeena Fiza 负责在数据中心硬件量产前排查系统故障，确保从托架、机架到集群及 AI 工厂的可靠性。其工作涵盖固件、硬件、散热与机械设计等交汇领域，曾参与全球首个 NVIDIA Rubin GPU 的系统级启动与验证。团队在单机架近 50 万个组件的复杂环境下测试极限条件，目标是在客户使用前消除潜在隐患。

  2. Together AI Blog66

    如何以 17 美元微调并部署类似 Jev 的专用分类模型

    Together AI 发布实战教程，指导用户基于 Qwen3.5 4B 基础模型和约 3.8 万条多源数据微调类似 Jev 的专用分类模型，并将其部署为 HTTP 端点。该微调流程耗时约 25 分钟、花费约 17 美元，模型可直接解析输入状态并输出规范的 JSON 结构化判定结果。相关数据采样、清洗与部署脚本均已在 GitHub 的 tev1 仓库开源。

    推荐理由：文章给出了以约 17 美元微调并部署专用分类模型的完整代码与数据处理流程，展示了针对结构化任务低成本定制轻量模型的工程实践。

  3. OpenAI News62

    GPT-6 改进 Prompt 缓存机制

    OpenAI 改进了 GPT-6 的 Prompt 缓存机制，通过提高缓存命中率、新增诊断工具、引入显式断点以及精细化控制项来降低模型调用延迟与成本。该更新旨在帮助开发者优化上下文复用效率并监控缓存运行状态。

    推荐理由：原文介绍了提升缓存命中率的新机制与控制项，开发者可以据此评估如何优化大模型调用延迟和接口成本。

9月22日周二
  1. IEEE Spectrum21

    未来走向无风扇：液冷 AI 服务器实现 100% 热量捕获

    当单机架功率超过 250 kW 并向 1 MW 攀升时，液冷 AI 服务器正转向近全热量捕获，使空气负载降至 1% 以下以实现无风扇运行。CoolIT 通过经历六代验证的模块化冷板方案，将液冷从处理器扩展至内存、网络、存储与电源等组件。CoolIT 预测到 2028 年，全热量捕获将成为旗舰机架级产品的标准设计。

  3. Together AI Blog55

    Together AI 推出金丝雀发布功能，支持生产模型无停机灰度升级

    Together AI 推出模型金丝雀发布（Canary rollouts）功能，支持在同一终端节点上无停机迁移流量并升级线上模型。该功能提供金丝雀灰度、蓝绿切流与滚动替换三种策略，支持设置延迟与错误率等指标门控，在指标恶化时自动触发系统暂停以防止劣质模型全量上线。用户可通过 tg CLI、Python SDK 或 REST API 控制发布全流程，并支持随时冻结流量或反向回滚。

  4. NVIDIA Blog52

    NVIDIA 推出 DSX Ready 计划认证 AI 工厂电力与散热产品

    NVIDIA 推出 NVIDIA DSX Ready 认证计划，用于认证符合其 DSX AI 工厂参考设计要求的合作伙伴供电与散热解决方案。该计划首批涵盖电池储能系统（BESS）与冷却分配单元（CDU）两个类别，首发合作方包括 Tesla、Hitachi Energy、LG Energy Solution 和 Vertiv 等，后续将逐步拓展至更多软硬件基础设施品类。

  5. NVIDIA Blog41

    NVIDIA：为什么规模化部署物理 AI 需要全层级安全

    面对自动驾驶与机器人规模化部署的安全挑战，NVIDIA 推出首个面向物理 AI 的全栈安全系统 NVIDIA Halos。该系统覆盖硬件、软件、AI 模型与仿真验证，在自动驾驶领域整合 DRIVE AGX Thor、Halos OS 与开源端到端推理视觉语言动作模型 NVIDIA Alpamayo。在机器人领域则结合 IGX Thor 模块与 Omniverse 仿真，实现全流程安全保障。

9月21日周一