跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 63 条
10月30日周五
  1. NVIDIA Blog70

    SETI 与 Breakthrough Listen 将 Agentic AI 引入地外信号搜索

    Breakthrough Listen 与 SETI 研究所将智能体 AI 引入地外文明搜索,在艾伦望远镜阵列上通过自然语言即可自动控制天线、校准仪器并处理观测数据。该系统基于 NVIDIA Holoscan 平台与 RTX PRO 6000 Blackwell GPU,支持每秒 2.4 Tbps 传感器数据的实时显存处理,已在蟹状星云完成脉冲星的实时 AI 检测。

    推荐理由:文章展示了如何通过端到端软硬件协同将海量传感器数据接入 GPU,为高吞吐科学仪器的智能体化控制提供了工程参考。

10月29日周四
  1. arXiv cs.AI69

    UC 伯克利团队提出 Evolving Agent Teams:通过动态重组突破 GPU 内核优化局部最优

    研究人员提出多智能体框架 Evolving Agent Teams,通过中央监督者诊断局部最优并动态重组智能体团队,结合持久化文件系统积累的演化经验突破复杂工程瓶颈。

    推荐理由:论文针对编程智能体容易陷入局部最优的痛点,提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。

10月28日周三
  1. Latent Space76

    Anthropic 如何安全交付前沿模型:将“大脑”与 Agent 的“双手”解耦

    Anthropic 团队成员在 Latent Space 访谈中拆解了 Claude 平台的工程架构,核心是通过将模型的大脑与 Agent 执行动作的双手解耦来保障系统安全。对话深入讨论了 Claude Opus 5.5 的发布背景、用 Rust 重构 Messages API、沙箱与凭据隔离机制,以及应对长运行 Agent 跨上下文窗口维护状态的 Harness 方案。

    推荐理由:访谈拆解了模型思考与 Agent 执行沙箱解耦的工程隔离方案,为构建安全可靠的 Agent 基础设施提供了具体参考。

10月27日周二
  1. Cloudflare Blog76

    Cloudflare 复盘 Workers AI 中 GLM-5.3 的 KV cache 跨请求泄露漏洞及 SGLang 修复方案

    Cloudflare 披露 Workers AI 在运行 GLM-5.3 时因配置失误与 SGLang 缺陷出现跨请求 KV cache 泄露,影响了 155 个超长 prompt 响应并已完成修复上线。

    推荐理由:原文详细拆解了分离式推理下缓存复用导致的跨租户数据泄露机制,为大模型托管服务排查引擎内存安全提供了参考。

10月24日周六
  1. AWS Machine Learning Blog63

    Amazon SageMaker AI 多轮强化学习实战指南:智能体端到端训练与评估

    AWS 推出在 Amazon SageMaker AI 上使用多轮强化学习(MTRL)训练智能体的端到端实战指南,解决多步任务难以通过监督微调或单轮强化学习进行信用分配的问题。

    推荐理由:原文在 Wordle 任务上展示了如何用整局反馈训练多步智能体,并详细复盘了奖励塑形翻车和并发鉴权等工程踩坑。

10月23日周五
  1. AWS Machine Learning Blog65

    Amazon SageMaker 推出训练会话 API,无需管理 GPU 即可编写自定义训练循环

    Amazon SageMaker AI 推出训练会话 API(training session APIs),允许开发者在本地 Python 环境编写自定义训练循环,并将 GPU 算力执行完全托管在云端。

    推荐理由:该 API 将算力调度与训练控制流解耦并按 Token 计费,让开发者无需运维 GPU 即可低门槛实现自定义对齐与强化学习算法。

  2. AWS Machine Learning Blog65

    Amazon SageMaker AI 推出无服务器训练会话功能:免管理 GPU 定制模型

    Amazon SageMaker AI 正式推出无服务器模型定制的训练会话(training sessions)功能,允许开发者在无需管理 GPU 集群和分布式配置的情况下,通过代码灵活控制后训练循环与奖励函数。

    推荐理由:原文展示了如何通过 Serverless 架构托管底层算力调度,让开发者直接用代码灵活控制多轮强化学习训练循环。

  3. TechCrunch · AI79

    SpaceX 第三季度 AI 业务营收超预期,占总收入超五成

    SpaceX 第三季度财报显示其 AI 相关业务占总收入的 52%,在数据中心与 Grok 智能体业务推动下实现 146 亿美元营收并扭亏为盈。其中超级智能业务线贡献 75 亿美元收入且算力规模达 1.7 GW,当季资本支出为 196 亿美元。公司正在田纳西州孟菲斯加速建设 Colossus II 数据中心,管理层预计第四季度资本投资将达到 350 亿至 400 亿美元。

    推荐理由:材料披露了算力中心建设在工业制造协同下的推进节奏,展现出规模化算力扩张对电力与工程交付的依赖。

10月22日周四
  1. AWS Machine Learning Blog73

    AWS 详解多智能体系统落地的 5 大生产挑战与 Deep Insight 解决方案

    AWS 解决方案架构团队开源了生产级多智能体系统 Deep Insight,总结了多智能体落地生产在编排、模型分工、运行时部署、安全代码执行和运维监控 5 个维度的挑战与解法。

    推荐理由:文章拆解了多智能体落地生产时的编排、模型选型与沙箱隔离方案,为构建企业级 Agent 架构提供了可迁移的工程参考。

10月21日周三
  1. NVIDIA Blog62

    Google Cloud 与 NVIDIA 宣布 Vera Rubin 云基础设施 A5X 实例下月全面可用

    Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 架构的 A5X 实例将于下月正式全面可用,面向大规模强化学习和智能体推理负载,并计划拓展至欧洲。

    推荐理由:原文给出了 Rubin NVL72 机架在云端的软硬件集成与多站点部署规划,有助于读者了解前沿强化学习所需的工程算力演进。

  2. NVIDIA Blog73

    NVIDIA 扩展本地 AI 硬件与软件生态:发布 DGX Spark 64GB 并推出多款本地模型支持

    NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件全线进展,涵盖面向 PC 智能体的 RTX Spark、面向开发者的 DGX Spark 以及面向企业的 DGX Station。

    推荐理由:原文公布了面向个人与企业的多档本地算力方案与适配模型,有助于开发者评估将智能体完整下沉至本地运行的技术可行性。

  3. The Decoder76

    DeepSeek 开源内部推理框架 DeepInfer

    DeepSeek 在 Apache 2.0 协议下开源了内部推理框架 DeepInfer,用于支撑其 V4.1-Flash 模型的大规模快速响应。该框架基于 vLLM 构建,包含优化计算核、多芯片分布式处理和更快的文本生成技术,未来模型的代码也将开源。同时发布的 deepseek-recipe 可复刻官方 API 的 token 处理逻辑,帮助社区保持自建部署与官方服务表现一致并降低算力成本。

    推荐理由:原文给出了框架的优化方向和配套组件,读者可以据此评估低成本自建部署大模型的具体方案。

10月20日周二
  1. AWS Machine Learning Blog66

    Amazon SageMaker Studio 接入全新 AWS 注册体验:支持第三方快捷登录与免信用卡上手

    Amazon SageMaker Studio 正式集成全新 AWS 注册体系,新用户使用 Google、GitHub、Apple 或 Amazon 账号可在 2 至 3 步内完成注册并直接进入预配置环境。

    推荐理由:原文梳理了从第三方登录到预配置环境的完整链路,有助于评估轻量级云上机器学习环境的上手成本。

  2. Cloudflare Blog74

    Cloudflare 将 AI 代码审查推理成本降低 68% 的工程实践

    Cloudflare 分享了其内部 AI 代码审查系统的推理优化实践,通过重构提示词前缀缓存与调整模型配置,将单次审查成本从 2.43 美元降至 0.77 美元,审查耗时中位数从 4 分 09 秒压缩至 1 分 32 秒。

    推荐理由:详细复盘了代码审查智能体的推理降本路径,提供了跨仓库共享提示词前缀缓存与压缩交互轮次的具体工程参考。

10月19日周一
10月17日周六
  1. AWS Machine Learning Blog62

    基于 Amazon Bedrock AgentCore 构建面向生产环境的 AI Agent 评估框架

    AWS 团队基于 Amazon Bedrock AgentCore 提出了覆盖全生命周期的九阶段 AI Agent 评估框架,用于解决多智能体系统在企业生产环境中静默失效与指标幻觉等质量问题。

    推荐理由:原文详细拆解了企业级多智能体从开发门禁到生产监控的九阶段质检落地路径,为复杂 Agent 系统的工程质量保障提供了可参考的架构范式。

  2. AWS Machine Learning Blog71

    Reflection AI 发布开源权重智能体编码模型 Beam 并提供 AWS 部署方案

    Reflection AI 推出用于智能体编码的开源权重模型 Beam,具备 501B 总参数和 23B 激活参数,支持 100 万 token 上下文。该稀疏 MoE 模型权重在 Hugging Face 基于 Apache 2.0 协议开源,提供 BF16、FP8 和 NVFP4 版本。

    推荐理由:原文给出了超大参数 MoE 编码模型的规格细节与分层部署路径,便于开发者评估大模型落地成本。

10月16日周五
10月15日周四