跳到正文

#部署/工程

今日 4 条
10月21日周三
  1. NVIDIA Blog62

    Google Cloud 与 NVIDIA 宣布 Vera Rubin 云基础设施 A5X 实例下月全面可用

    Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 架构的 A5X 实例将于下月正式全面可用,面向大规模强化学习和智能体推理负载,并计划拓展至欧洲。

    推荐理由:原文给出了 Rubin NVL72 机架在云端的软硬件集成与多站点部署规划,有助于读者了解前沿强化学习所需的工程算力演进。

  2. NVIDIA Blog73

    NVIDIA 扩展本地 AI 硬件与软件生态:发布 DGX Spark 64GB 并推出多款本地模型支持

    NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件全线进展,涵盖面向 PC 智能体的 RTX Spark、面向开发者的 DGX Spark 以及面向企业的 DGX Station。

    推荐理由:原文公布了面向个人与企业的多档本地算力方案与适配模型,有助于开发者评估将智能体完整下沉至本地运行的技术可行性。

  3. Latent Space57

    Tenex 详解如何为财富 2000 强构建 AI 原生软件开发流程

    Tenex 团队在 Latent Space 访谈中阐述了其 AI 原生软件开发生命周期体系,主张按交付产出而非工时付酬以应对 AI 带来的研发效率提升。团队介绍了将设计规划与决策记录共同提交至 Git 的 MetaHarness 工作流,使长程任务中的 AI 智能体能随时理解业务上下文。此外,访谈还指出企业落地智能体最大的瓶颈在于非研发流程缺乏标准化以及数据权限管控难题。

  4. 量子位28

    是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟降低 32.4%

    是石科技发布 TokenFleet 分布式调度框架,通过优化请求路由、跨机房容量协同与混合负载治理,提升算力集群的有效 Token 产出。该框架包含 TokenPilot、FleetMind 与 SLOMax 三大核心技术;在 GLM5.3 调优测试中,其 P95 首 Token 延迟降低 32.4%,P50 延迟降低 71.3%,达标输出吞吐提升约 29.4%。

  5. Latent Space60

    专访 SF Compute 创始人 Evan Conrad:构建可编程数据中心与 GPU 算力交易市场

    SF Compute 首席执行官 Evan Conrad 在访谈中阐述了 GPU 算力交易市场的运作逻辑,强调算力交易必须依托类似云厂商的实际运营能力实现物理交割,而非单纯的现金指数结算。他指出当前硬件异构使得算力难以完全标准化,平台通过支持多维约束的撮合引擎和动态划分 InfiniBand 等技术实现灵活交易,并认为中立交易市场必须独立于芯片巨头与大型云厂商以避免利益冲突。

  6. The Decoder76

    DeepSeek 开源内部推理框架 DeepInfer

    DeepSeek 在 Apache 2.0 协议下开源了内部推理框架 DeepInfer,用于支撑其 V4.1-Flash 模型的大规模快速响应。该框架基于 vLLM 构建,包含优化计算核、多芯片分布式处理和更快的文本生成技术,未来模型的代码也将开源。同时发布的 deepseek-recipe 可复刻官方 API 的 token 处理逻辑,帮助社区保持自建部署与官方服务表现一致并降低算力成本。

    推荐理由:原文给出了框架的优化方向和配套组件,读者可以据此评估低成本自建部署大模型的具体方案。

  7. AWS Machine Learning Blog45

    从数据到决策:借助 Amazon Quick 与 Amazon Bedrock AgentCore 实现对话式供应链智能

    亚马逊云科技展示了结合 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能的方案。该架构将 Amazon Quick 作为前端交互界面,AgentCore 充当智能层,通过模型上下文协议(MCP)服务器将分散在 ERP、监控和采购等后端系统中的工具进行编排。

  8. AWS Machine Learning Blog47

    Octave 如何基于 Amazon Bedrock 构建安全的多租户 AI 架构

    Octave 基于 Amazon Bedrock 构建了严格隔离的多租户 AI 底座,使每个用例的部署时间缩短 50%。该架构采用三层设计:使用 Cohere Embed v4 将超 20 亿份文档嵌入并存入单租户向量库,通过 AgentCore Gateway 和隔离 microVM 会话调用 Claude 模型,并双向部署 Guardrails 进行内容安全过滤。

10月20日周二
  1. MIT Technology Review · AI20

    企业 AI 的新经济学

    企业 AI 评估指标正从单一 token 或 GPU 成本转向每个有效业务成果的实际成本。提升经济效益的核心在于算力利用率,单纯拥有 GPU 不等于降本,需通过模型路由、GPU 分区和 KV cache 管理等手段降低闲置浪费。随着业务常态化,集成私有 AI 平台与自持算力在高负载下比单纯按需租用具备更优的单位产出成本。

  2. Scientific American63

    AI 数据中心为何开始重新启用固态变压器

    AI 数据中心单机架功耗与电网互连压力剧增,促使行业重新启用固态变压器以实现紧凑的高压交流直转直流配电。Nvidia、Google 和 Microsoft 已通过开放计算项目联合制定规范,推动电网中压交流电直接转为 800V 直流电。该技术结合碳化硅半导体可大幅缩小占地面积并平抑 GPU 训练引发的剧烈电网波动,但目前仍面临故障电流防护和长期运行可靠性等工程验证挑战。

  3. arXiv quant-ph37

    EntangledEdge:面向轨道量子传感与学习的分布式系统架构

    研究人员提出 EntangledEdge,这是首个将轨道量子传感与学习端到端统一的系统架构,通过量子数据平面与经典控制平面确保数据在传感至推理全流程保持量子态。系统支持将事件路由至匹配模型、实现无标签自适应检测阈值,并依据硬件保真度跨站点聚合。混合原型评估显示,其在限制单事件成本的同时实现了高质量推理,提升了量子处理器利用率并支持随卫星编队规模扩展。

  4. AWS Machine Learning Blog66

    Amazon SageMaker Studio 接入全新 AWS 注册体验:支持第三方快捷登录与免信用卡上手

    Amazon SageMaker Studio 正式集成全新 AWS 注册体系,新用户使用 Google、GitHub、Apple 或 Amazon 账号可在 2 至 3 步内完成注册并直接进入预配置环境。

    推荐理由:原文梳理了从第三方登录到预配置环境的完整链路,有助于评估轻量级云上机器学习环境的上手成本。

  5. Cloudflare Blog74

    Cloudflare 将 AI 代码审查推理成本降低 68% 的工程实践

    Cloudflare 分享了其内部 AI 代码审查系统的推理优化实践,通过重构提示词前缀缓存与调整模型配置,将单次审查成本从 2.43 美元降至 0.77 美元,审查耗时中位数从 4 分 09 秒压缩至 1 分 32 秒。

    推荐理由:详细复盘了代码审查智能体的推理降本路径,提供了跨仓库共享提示词前缀缓存与压缩交互轮次的具体工程参考。

  6. AWS Machine Learning Blog54

    TwelveLabs 视频大模型 Pegasus 1.5 正式上线 Amazon Bedrock

    TwelveLabs 视频语言模型 Pegasus 1.5 正式在 Amazon Bedrock 上线可用。该模型支持单次处理长达 2 小时的长视频,无需预先建立索引即可直接读取 Amazon S3 中的视频源;模型新增时序元数据生成与参考图像多模态提示功能,可根据自定义字段以 JSON 格式输出匹配片段的起止时间及结构化信息。

  7. AWS Machine Learning Blog51

    vLLM 引入基于推送的 KV 传输机制以降低分离式推理 TTFT 与 TPOT

    AWS 工程师向 vLLM 贡献了基于推送(Push-based)的 NIXL KV 传输连接器,通过将解码端块注册与预填计算重叠来优化分离式推理延迟。在 Amazon EC2 P5en 搭配 EFA 网络运行 Qwen3-32B 的测试中,推送模式相比传统拉取模式使首字时间(TTFT)最高降低至三分之一,每输出 token 时间(TPOT)改善最多 30%。

10月19日周一
  1. NVIDIA Blog45

    NVIDIA 推进媒体领域智能体安全,覆盖欧洲公共广播与全球内容制作

    NVIDIA 宣布与欧洲广播联盟(EBU)合作扩展主权框架,联合主权云服务商与 NVIDIA Nemotron 开源模型,帮助广播机构在保障数据主权的前提下部署 AI 智能体。同时,Adobe Frame.io 采用 NVIDIA GPU 加速视频智能体搜索,实现嵌入向量生成速度提升约 5x、吞吐量提升最高 4x 且搜索延迟降低最高 5x。德国制作公司 UFA 已借助该技术加速影视素材检索。

  2. 科学网35

    第二十二届CCF全国高性能计算学术大会在深圳举办

    第二十二届CCF全国高性能计算学术大会于10月17日至20日在深圳举办,聚焦国产算力自主创新与超智深度融合。开幕式上发布了HPC+AI超智协同开放社区、高通以太网(ETH+)联盟全栈式国产智算网络以及曙光8000十大前沿应用等成果。大会吸引了500余位专家学者与会分享,同期展览总面积超过12000平米并汇聚65家龙头企业及前沿机构。

  3. 科学网55

    国家超算互联网核心节点曙光8000发布十大前沿应用

    国家超算互联网核心节点曙光8000在CCF HPC China2026上发布涵盖宇宙演化模拟、数字孪生脑和气象预报等领域的十大前沿应用。相关任务的大规模运行卡数集中在4万至9万卡,多项万卡级任务弱扩展效率保持在90%以上;目前平台已接入30余家超算与智算中心,统筹管理超350万CPU核心与25万GPU卡。

  4. IEEE Spectrum15

    智慧城市中的边缘 AI:从洞察走向认知行动

    边缘 AI 与物理 AI 正在推动智慧城市从被动监测转向具备感知、推理和行动能力的认知型基础设施。通过在数据生成源头进行推理,该技术能支持低延迟决策、保护数据主权并降低云端依赖。白皮书还阐述了计算机视觉、多模态感知与智能体系统的协同机制,以及分层边缘架构在公共安全、交通和基础设施中的软硬件部署要求。

  5. 量子位29

    日均6万亿Token服务背后,商汤大装置如何提升推理效能?

    商汤大装置通过PD分离与异构混合调度构建起万卡级异构推理集群,在特定测试配置下将整体Token吞吐量提升至原来的5倍。目前其平台日均Token服务量已达6万亿,并通过预留高端算力补位与节点角色动态切换机制保障集群稳定。此外,商汤大装置还在探索跨域PD分离以及解耦Attention与FFN计算的AF分离架构,持续优化大规模推理的能效与成本。

  6. arXiv cs.AI33

    基于自适应专家分配的高效 CPU-GPU 协同 MoE 推理

    新提出的 CPU-GPU 协同 MoE 推理系统通过自适应专家分配解决显存受限瓶颈,将高 token 负载的未命中专家转移至 GPU 执行、低负载专家留在 CPU 计算。该方案动态平衡 CPU 与 GPU 路径耗时,在 3 款代表性 MoE LLM 测试中,相较最强 baseline 将 prefill 速度提升最高 51.9%,decode 吞吐量提升最高 39.5%。

  7. arXiv quant-ph25

    ConQUESTA:拓扑感知的量子神经网络训练后结构剪枝

    研究人员提出针对量子神经网络的训练后剪枝框架 ConQUESTA,结合任务显著性与编译器成本,在显式精度约束下跨多种硬件拓扑整体转译搜索剪枝掩码。在 4、6 和 8 量子比特 QNN 的 55% 剪枝实验中,其在 Breast Cancer、Digits01 和 Iris 任务上分别实现 61.6%、72.0% 和 82.2% 的平均资源缩减。

  8. arXiv cs.LG34

    CADENCE:通过自适应预测长度提升大语言模型解码吞吐量

    研究人员提出名为 CADENCE 的上下文自适应解码方法,通过高斯预测头将未来片段表示为连续潜在向量,并利用可学习路由动态选择预测长度,实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中,该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。

  9. arXiv cs.LG35

    跨模型表征复用校准增益研究

    研究人员提出一种无需接收端优化的迁移方法,可直接将一个模型表征学到的正向分组缩放校准增益复用至同一预训练模型的其他表征。在 Qwen3-1.7B 浮点与 GPTQ INT3 配对的双向迁移中,该方法在测试集上保留了 76.9-90.5% 的文本损失改善,且量化接收端无需改变整数编码与零点。在 Llama-3.2-3B 对照实验中,交叉安装更保留了 98.6-99.3% 的文本校准收益。

  10. arXiv cs.LG35

    基于在线偏好学习的机会约束个性化 LLM 路由研究

    研究人员针对个性化 LLM 路由提出一种受限上下文 Bandit 算法,旨在未知用户偏好并在部署期间通过反馈进行在线学习的同时,最小化累积推理成本并保证响应质量。在逻辑偏好模型与严格可行性条件下,该算法实现了相对于最优平稳随机上下文预言机的次线性期望成本遗憾,并对累积满意度提供高概率保障。该框架还可扩展至其他具有可靠性要求的在线模型选择问题。