欧洲领军企业采用 NVIDIA Vera CPU 构建本地基础设施
Nebius、Nscale 与 Verda 等欧洲 AI 云服务商正采用 NVIDIA Vera CPU 构建新一代基础设施,以加速智能体计算中的信息检索与代码执行。
Nebius、Nscale 与 Verda 等欧洲 AI 云服务商正采用 NVIDIA Vera CPU 构建新一代基础设施,以加速智能体计算中的信息检索与代码执行。
NVIDIA 扩展其机密计算(NVIDIA Confidential Computing)技术,推出新部署选项机密裸机(Confidential Bare Metal),让前沿模型构建者能在第三方专用基础设施上安全运行敏感工作负载。
NVIDIA 宣布欧洲多国云合作伙伴正在加速扩展区域 AI 算力基础设施,依托新一代硬件支持主权 AI 计算、开源生态以及安全 AI Agent 部署。
Google Cloud 与 NVIDIA 宣布基于 NVIDIA Vera Rubin 架构的 A5X 实例将于下月正式全面可用,面向大规模强化学习和智能体推理负载,并计划拓展至欧洲。
推荐理由:原文给出了 Rubin NVL72 机架在云端的软硬件集成与多站点部署规划,有助于读者了解前沿强化学习所需的工程算力演进。
NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件全线进展,涵盖面向 PC 智能体的 RTX Spark、面向开发者的 DGX Spark 以及面向企业的 DGX Station。
推荐理由:原文公布了面向个人与企业的多档本地算力方案与适配模型,有助于开发者评估将智能体完整下沉至本地运行的技术可行性。
DeepSeek 开源了其生产级推理引擎 DeepInfer 及配套的 deepseek-recipe 工具,支持 NVIDIA SM100 与华为昇腾 950 硬件平台。
Tenex 团队在 Latent Space 访谈中阐述了其 AI 原生软件开发生命周期体系,主张按交付产出而非工时付酬以应对 AI 带来的研发效率提升。团队介绍了将设计规划与决策记录共同提交至 Git 的 MetaHarness 工作流,使长程任务中的 AI 智能体能随时理解业务上下文。此外,访谈还指出企业落地智能体最大的瓶颈在于非研发流程缺乏标准化以及数据权限管控难题。
是石科技发布 TokenFleet 分布式调度框架,通过优化请求路由、跨机房容量协同与混合负载治理,提升算力集群的有效 Token 产出。该框架包含 TokenPilot、FleetMind 与 SLOMax 三大核心技术;在 GLM5.3 调优测试中,其 P95 首 Token 延迟降低 32.4%,P50 延迟降低 71.3%,达标输出吞吐提升约 29.4%。
i14 借助 TorchNeuron Native 在 AWS Trainium2 上训练并部署了 Laplace 3B 线性注意力模型。该模型将推理循环状态固定为每序列 29.5 MB,摆脱了传统 KV cache 随上下文长度增加的限制。
SF Compute 首席执行官 Evan Conrad 在访谈中阐述了 GPU 算力交易市场的运作逻辑,强调算力交易必须依托类似云厂商的实际运营能力实现物理交割,而非单纯的现金指数结算。他指出当前硬件异构使得算力难以完全标准化,平台通过支持多维约束的撮合引擎和动态划分 InfiniBand 等技术实现灵活交易,并认为中立交易市场必须独立于芯片巨头与大型云厂商以避免利益冲突。
DeepSeek 在 Apache 2.0 协议下开源了内部推理框架 DeepInfer,用于支撑其 V4.1-Flash 模型的大规模快速响应。该框架基于 vLLM 构建,包含优化计算核、多芯片分布式处理和更快的文本生成技术,未来模型的代码也将开源。同时发布的 deepseek-recipe 可复刻官方 API 的 token 处理逻辑,帮助社区保持自建部署与官方服务表现一致并降低算力成本。
推荐理由:原文给出了框架的优化方向和配套组件,读者可以据此评估低成本自建部署大模型的具体方案。
亚马逊云科技展示了结合 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能的方案。该架构将 Amazon Quick 作为前端交互界面,AgentCore 充当智能层,通过模型上下文协议(MCP)服务器将分散在 ERP、监控和采购等后端系统中的工具进行编排。
Octave 基于 Amazon Bedrock 构建了严格隔离的多租户 AI 底座,使每个用例的部署时间缩短 50%。该架构采用三层设计:使用 Cohere Embed v4 将超 20 亿份文档嵌入并存入单租户向量库,通过 AgentCore Gateway 和隔离 microVM 会话调用 Claude 模型,并双向部署 Guardrails 进行内容安全过滤。
AMD 与 Intel 联合宣布将在 PyTorch 框架下的 oneDNN 展开合作,把 AMD Zen 处理器的相关优化合并至 oneDNN 中。此前 Intel 长期为自身硬件调优 oneDNN 并获 PyTorch 等框架采用,而 AMD 则一直维护兼容 oneDNN API 的下游分支 ZenDNN。
Eon 借助 Amazon Bedrock AgentCore 构建了统一认证的 MCP 网关,将跨 AWS、GCP 和 Azure 的多云排障工具访问整合至单一入口。
AWS 联合 Keyfactor 发布基于 X.509 PKI 的 AI 智能体身份安全参考架构,填补多智能体框架在 MCP 协议下缺乏内置身份认证的零信任安全空缺。
Amazon Bedrock 现支持加拿大用户通过跨区域推理访问 OpenAI GPT-5.6、GPT-6 及 GPT-6.1 Sol 模型。这些模型支持 1-million-token 上下文窗口、推理模式、工具调用及提示词缓存,请求在北美范围内完成处理。
企业 AI 评估指标正从单一 token 或 GPU 成本转向每个有效业务成果的实际成本。提升经济效益的核心在于算力利用率,单纯拥有 GPU 不等于降本,需通过模型路由、GPU 分区和 KV cache 管理等手段降低闲置浪费。随着业务常态化,集成私有 AI 平台与自持算力在高负载下比单纯按需租用具备更优的单位产出成本。
AI 数据中心单机架功耗与电网互连压力剧增,促使行业重新启用固态变压器以实现紧凑的高压交流直转直流配电。Nvidia、Google 和 Microsoft 已通过开放计算项目联合制定规范,推动电网中压交流电直接转为 800V 直流电。该技术结合碳化硅半导体可大幅缩小占地面积并平抑 GPU 训练引发的剧烈电网波动,但目前仍面临故障电流防护和长期运行可靠性等工程验证挑战。
研究人员提出 EntangledEdge,这是首个将轨道量子传感与学习端到端统一的系统架构,通过量子数据平面与经典控制平面确保数据在传感至推理全流程保持量子态。系统支持将事件路由至匹配模型、实现无标签自适应检测阈值,并依据硬件保真度跨站点聚合。混合原型评估显示,其在限制单事件成本的同时实现了高质量推理,提升了量子处理器利用率并支持随卫星编队规模扩展。
通研院孵化团队通衍灵智聚焦递归自进化个性化智能(Personal AI),通过共享基础模型与轻量化 Personal LoRA 沉淀专属能力。其引入 Evaluator 筛选反馈与回滚机制构建 RSI 持续学习框架,并采用 TIP 训推并行和 Paged LoRA 显存管理降低运行成本。
Amazon SageMaker Studio 正式集成全新 AWS 注册体系,新用户使用 Google、GitHub、Apple 或 Amazon 账号可在 2 至 3 步内完成注册并直接进入预配置环境。
推荐理由:原文梳理了从第三方登录到预配置环境的完整链路,有助于评估轻量级云上机器学习环境的上手成本。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月期间接入了来自 30 家模型提供商的 100 多款新模型。新增模型涵盖阿里巴巴千问(Qwen)的 29 款、NVIDIA 的 17 款(含 Cosmos3 与 Nemotron 系列),以及 Mistral、Google、IBM 和 Cohere 等机构的产品。
Cloudflare 分享了其内部 AI 代码审查系统的推理优化实践,通过重构提示词前缀缓存与调整模型配置,将单次审查成本从 2.43 美元降至 0.77 美元,审查耗时中位数从 4 分 09 秒压缩至 1 分 32 秒。
推荐理由:详细复盘了代码审查智能体的推理降本路径,提供了跨仓库共享提示词前缀缓存与压缩交互轮次的具体工程参考。
TwelveLabs 视频语言模型 Pegasus 1.5 正式在 Amazon Bedrock 上线可用。该模型支持单次处理长达 2 小时的长视频,无需预先建立索引即可直接读取 Amazon S3 中的视频源;模型新增时序元数据生成与参考图像多模态提示功能,可根据自定义字段以 JSON 格式输出匹配片段的起止时间及结构化信息。
vLLM 通过双向 KV 缓存传输机制让 decode 节点将已计算的 KV 块传回 prefill 节点,避免多轮智能体场景中反复重算历史上下文。在基于 Amazon EC2 P5en 实例的 1P1D 基准测试中,该方案将 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
AWS 工程师向 vLLM 贡献了基于推送(Push-based)的 NIXL KV 传输连接器,通过将解码端块注册与预填计算重叠来优化分离式推理延迟。在 Amazon EC2 P5en 搭配 EFA 网络运行 Qwen3-32B 的测试中,推送模式相比传统拉取模式使首字时间(TTFT)最高降低至三分之一,每输出 token 时间(TPOT)改善最多 30%。
Deepgram 与 AWS 合作将其 Nova-3 语音转文本模型迁移至 AWS Trainium2,并在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
NVIDIA 宣布与欧洲广播联盟(EBU)合作扩展主权框架,联合主权云服务商与 NVIDIA Nemotron 开源模型,帮助广播机构在保障数据主权的前提下部署 AI 智能体。同时,Adobe Frame.io 采用 NVIDIA GPU 加速视频智能体搜索,实现嵌入向量生成速度提升约 5x、吞吐量提升最高 4x 且搜索延迟降低最高 5x。德国制作公司 UFA 已借助该技术加速影视素材检索。
第二十二届CCF全国高性能计算学术大会于10月17日至20日在深圳举办,聚焦国产算力自主创新与超智深度融合。开幕式上发布了HPC+AI超智协同开放社区、高通以太网(ETH+)联盟全栈式国产智算网络以及曙光8000十大前沿应用等成果。大会吸引了500余位专家学者与会分享,同期展览总面积超过12000平米并汇聚65家龙头企业及前沿机构。
国家超算互联网核心节点曙光8000在CCF HPC China2026上发布涵盖宇宙演化模拟、数字孪生脑和气象预报等领域的十大前沿应用。相关任务的大规模运行卡数集中在4万至9万卡,多项万卡级任务弱扩展效率保持在90%以上;目前平台已接入30余家超算与智算中心,统筹管理超350万CPU核心与25万GPU卡。
边缘 AI 与物理 AI 正在推动智慧城市从被动监测转向具备感知、推理和行动能力的认知型基础设施。通过在数据生成源头进行推理,该技术能支持低延迟决策、保护数据主权并降低云端依赖。白皮书还阐述了计算机视觉、多模态感知与智能体系统的协同机制,以及分层边缘架构在公共安全、交通和基础设施中的软硬件部署要求。
商汤大装置通过PD分离与异构混合调度构建起万卡级异构推理集群,在特定测试配置下将整体Token吞吐量提升至原来的5倍。目前其平台日均Token服务量已达6万亿,并通过预留高端算力补位与节点角色动态切换机制保障集群稳定。此外,商汤大装置还在探索跨域PD分离以及解耦Attention与FFN计算的AF分离架构,持续优化大规模推理的能效与成本。
HardenedLinux 社区主导开源了 AI 运行时框架 SonicBoom,采用 GPLv3 许可证并通过 LLVM MLIR 自动优化计算图以生成硬件 kernel。
新提出的 CPU-GPU 协同 MoE 推理系统通过自适应专家分配解决显存受限瓶颈,将高 token 负载的未命中专家转移至 GPU 执行、低负载专家留在 CPU 计算。该方案动态平衡 CPU 与 GPU 路径耗时,在 3 款代表性 MoE LLM 测试中,相较最强 baseline 将 prefill 速度提升最高 51.9%,decode 吞吐量提升最高 39.5%。
研究人员提出了一种端到端流水线,结合单次概率前向传播(PFP)与代码生成,在嵌入式 ARM CPU 上加速贝叶斯神经网络部署。该方案利用 TVM 编译器构建高斯传播算子库,并在小 mini-batch 下实现相比 SVI 最高 4200x 的加速。
研究人员提出针对量子神经网络的训练后剪枝框架 ConQUESTA,结合任务显著性与编译器成本,在显式精度约束下跨多种硬件拓扑整体转译搜索剪枝掩码。在 4、6 和 8 量子比特 QNN 的 55% 剪枝实验中,其在 Breast Cancer、Digits01 和 Iris 任务上分别实现 61.6%、72.0% 和 82.2% 的平均资源缩减。
研究人员提出名为 CADENCE 的上下文自适应解码方法,通过高斯预测头将未来片段表示为连续潜在向量,并利用可学习路由动态选择预测长度,实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中,该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。
研究人员提出一种无需接收端优化的迁移方法,可直接将一个模型表征学到的正向分组缩放校准增益复用至同一预训练模型的其他表征。在 Qwen3-1.7B 浮点与 GPTQ INT3 配对的双向迁移中,该方法在测试集上保留了 76.9-90.5% 的文本损失改善,且量化接收端无需改变整数编码与零点。在 Llama-3.2-3B 对照实验中,交叉安装更保留了 98.6-99.3% 的文本校准收益。
研究人员针对个性化 LLM 路由提出一种受限上下文 Bandit 算法,旨在未知用户偏好并在部署期间通过反馈进行在线学习的同时,最小化累积推理成本并保证响应质量。在逻辑偏好模型与严格可行性条件下,该算法实现了相对于最优平稳随机上下文预言机的次线性期望成本遗憾,并对累积满意度提供高概率保障。该框架还可扩展至其他具有可靠性要求的在线模型选择问题。