快速扩展在线存储以服务超 10 亿 ChatGPT 用户（第二篇）
OpenAI 通过引入可靠的多租户机制、全局缓存以及 Azure Cosmos DB 扩展了内部存储系统 Habitat，为 ChatGPT 实现了 12x 的读取速度提升。该方案旨在快速扩展在线存储能力，以稳定服务超过 10 亿 ChatGPT 用户。
#部署/工程
#部署/工程
今日 4 条OpenAI NewsAI 评分3838
PhoronixAI 评分3131 oneDNN 3.14 发布：支持 ACE 并初步引入 AMD Zen 优化
UXL Foundation 发布深度学习运算库 oneDNN 3.14，带来了 ACE 支持并初步引入针对 AMD Zen CPU 的优化。oneDNN 最初由 Intel 发起，主要为 PyTorch、TensorFlow 和 OpenVINO 等软件提供深度学习算子优化。
arXiv cs.LGAI 评分3636 Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命
Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出，旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息，优先将 full-attention 的 KV cache 写入 SSD，在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微，并可扩展至高带宽闪存（HBF）。
arXiv cs.LGAI 评分3333 用于视觉任务的脉冲感知梯度混合精度脉冲神经网络量化方法
研究人员提出了一种面向脉冲神经网络（SNN）的脉冲感知基于梯度的混合精度量化框架，利用一阶梯度自适应分配位宽，无需昂贵的高阶 Hessian 计算。在 ImageNet 上的 ResNet-34 评测中，该方法在 4.78x 压缩下达到 73.30% 准确率，效果匹敌 HAWQ-V2 的同时将内存开销降低 2.31x，位分配运行时间缩短 100x。
arXiv cs.LGAI 评分3232 异构边缘平台模型压缩技术评测：以旋转机械预测性维护为例
一项针对工业旋转机械预测性维护的研究评测了 9 类异构计算平台上的 4 种模型压缩技术，结果显示知识蒸馏表现最有效。经知识蒸馏压缩的卷积神经网络模型体积缩减 98.9%，在所有设备上实现超过 90% 的推理加速，同时保持了 91.22% 的平衡 F-score，显著降低了计算与能源开销。
arXiv cs.LGAI 评分2424 用于嵌入式系统植物病害识别的轻量级群注意力网络 GANet
研究人员提出了轻量级群等变注意力网络 GANet，专用于 38 种植物病害的预测与监测。该模型引入了群注意力模块与逐群特征融合模块，仅包含 0.001M 参数，在 PlantVillage 数据集上取得了 99.99% 的准确率。GANet 针对边缘设备进行了部署优化，在 Raspberry Pi 4b 和 Jetson Nano 上分别达到 5 FPS 和 11 FPS。
arXiv cs.LGAI 评分4040 MoEZip：面向稀疏 MoE 大语言模型的路由感知 KV Cache 压缩
MoEZip 是一种面向稀疏 MoE 大模型的路由感知 KV cache 压缩方法，解决了 KV 淘汰改变专家路由并损害生成质量的问题。该方法基于路由分布的 Fisher 信息矩阵评估敏感度，并结合注意力权重对上下文评分。在 10% 的 KV 保留率下，MoEZip 在 LongBench 和 RULER 上较 SOTA 基准平均提升 +24 和 +20 分，分别达到 2.3x 和 4.9x。
arXiv cs.LGAI 评分4040 FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体强化学习的系统优化研究
研究者针对 Qwen3.8-Flash-Next 推出强化学习优化框架 FlashNext-RL，在单台 8xB200 节点上实现了 48 层完整模型的 BF16 训练。
arXiv cs.LGAI 评分3434 将 Transformer 视为通用深度神经网络：精确编译、移除激活乘积的代价与多智能体注意力聚类
Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络，摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类，每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致，并可直接应用标准训练后量化。
arXiv cs.LGAI 评分4545 2:4 稀疏度还值得用吗？LLM 推理中半结构化稀疏与量化的对比研究
研究表明在 LLM 推理中只要更低精度可用，降精度优于引入 2:4 稀疏度，后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时，2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速；在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行，Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。
arXiv cs.LGAI 评分3636 LEAN：通过损失工程调节模型权重敏感度分布以实现高效容错神经网络
研究人员提出名为 LEAN 的复合正则化方法，通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项，在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍，精度损失在 0.5 个点以内，并初步验证于 3 个小型语言模型。
arXiv cs.LGAI 评分3232 面向电力负荷预测的极低状态量化 Transformer
研究人员针对电力负荷预测提出了基于 Transformer 的极低状态（3、5、7 和 16 状态）权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点，而感知量化微调（QAT-FT）成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%，为多值突触器件的低功耗边缘预测提供了紧凑实现路径。
arXiv cs.LGAI 评分3535 用于大语言模型非结构化训练后剪枝的嵌套 LADDER 框架
研究人员提出大语言模型非结构化训练后剪枝框架 LADDER，通过逐层损伤驱动评估与微调增量分配稀疏度，生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中，该方法以 SparseGPT 为候选生成后端，在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留，有效提升了零样本综合准确率。
arXiv cs.LGAI 评分2828 基于 FPGA 与集成电路平台的强化学习硬件加速及系统级优化综述
一篇新发表的综述系统分析了基于 FPGA 与集成电路（IC）平台的强化学习硬件加速及系统级优化进展，汇总了超过 100 项相关研究。文献梳理涵盖基于模型的马尔可夫决策过程、深度强化学习、Actor-Critic、策略梯度及多智能体方法，剖析算法向可重构与固定硬件的映射。评测维度覆盖资源利用率、延迟、吞吐量和功耗等指标，并总结了通用架构模式与未来研究方向。
arXiv cs.LGAI 评分4444 KVLearn：分离式 LLM 推理系统中基于学习的 KV cache 保留框架
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn，用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作，无需修改模型权重。评测显示，KVLearn 相比 LRU-Pool 将端到端首字延迟（TTFT）降低最高 38%，并减少最高 53% 的节点间传输量，代码已开源。
MIT Technology Review · AIAI 评分3030 如何构建经久耐用的企业级 AI 推理服务架构（Serving Harness）
企业 AI 的核心竞争优势正从基础模型选型转向模型周边的推理服务架构（Serving Harness）。架构设计需以具体工作负载为起点，权衡延迟、并发、显存压力、GPU 利用率和推理成本等实际生产约束。通过系统性优化架构、内存管理与调度，企业能在保障稳定规模化交付的同时灵活适应未来软硬件升级。
MIT Technology Review · AIAI 评分1818 可扩展 AI 的基石：如何在强监管环境中构建可信系统
先锋领航集团（Vanguard）AI 与洞察中心负责人 Jing Wang 在麻省理工科技评论 EmTech Future 大会上，探讨了在高度监管环境中构建可扩展 AI 系统的基石。该议题聚焦于将数据、工程、平台、运营模式与治理相融合，通过负责任且可信的实施方式，将包括 AI 智能体系统在内的新兴技术转化为持久的投资价值。
PhoronixAI 评分6767 Modular 完整开源 MAX 源码并采用全新 MAX 许可证
Modular 正式完全开源其 MAX 软件的完整代码树，并采用全新的 MAX 许可证。继 8 月 Mojo 编程语言开源之后，该公司进一步开放了 MAX 引擎的全部源代码。
The DecoderAI 评分6060 Google 推出 Agent Compute Engine，为每个 Gemini 智能体提供硬件隔离微虚拟机
Google 宣布推出 Agent Compute Engine 服务，为每个 AI 智能体分配运行在 Titanium 芯片保护下的硬件隔离微虚拟机（microVM）。
AWS Machine Learning BlogAI 评分5454 如何在 Amazon SageMaker AI 上利用 Kokoro TTS 实现智能体低延迟语音流式传输
AWS 介绍了在 Amazon SageMaker AI 上通过双向流部署 Kokoro-82M 语音合成模型的低延迟方案，智能体每生成完一个单句即刻启动合成，无需等待完整回复生成完毕。
AWS Machine Learning BlogAI 评分3737 如何在符合 HIPAA 规范的环境中通过 Amazon Quick 部署 AI
Amazon Quick 作为符合 HIPAA 资质的智能体工作区，支持在 Web、桌面和移动端通过聊天智能体处理临床记录等非结构化内容与理赔等结构化数据。该服务提供预置连接器与基于 MCP 的自定义工具扩展，并具备 ACL 感知检索、聊天日志审计及行为护栏等治理能力。用户需在 AWS Artifact 签署 BAA 并完成权限与安全配置，以构建合规的工作流。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker 推出训练会话 API，无需管理 GPU 即可编写自定义训练循环
Amazon SageMaker AI 推出训练会话 API（training session APIs），允许开发者在本地 Python 环境编写自定义训练循环，并将 GPU 算力执行完全托管在云端。
推荐理由：该 API 将算力调度与训练控制流解耦并按 Token 计费，让开发者无需运维 GPU 即可低门槛实现自定义对齐与强化学习算法。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker AI 推出无服务器训练会话功能：免管理 GPU 定制模型
Amazon SageMaker AI 正式推出无服务器模型定制的训练会话（training sessions）功能，允许开发者在无需管理 GPU 集群和分布式配置的情况下，通过代码灵活控制后训练循环与奖励函数。
推荐理由：原文展示了如何通过 Serverless 架构托管底层算力调度，让开发者直接用代码灵活控制多轮强化学习训练循环。
AWS Machine Learning BlogAI 评分3939 IskayPet 如何利用 Amazon Bedrock Managed Knowledge Bases 统一企业知识库
宠物护理公司 IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建了企业知识库助手，无需自行管理向量数据库和数据摄取等 RAG 基础设施。
Latent SpaceAI 评分7070 专访 Modal CEO：AI 算力合约错配与智能体沙盒演进
Modal CEO Erik Bernhardsson 在专访中解析了公司突破 10 亿美元年化收入背后的基建逻辑，指出真实算力需求呈现高波动性，与传统按固定时长采购的矩形 GPU 合约存在本质错配。
TechCrunch · AI精选AI 评分7676 Google 开源 TorchTPU，联手亚马逊在 AI 开发者生态中挑战 Nvidia
Google 宣布将其 PyTorch 版本 TorchTPU 正式开源，开发者无需重写应用即可通过简单配置将现有 PyTorch 工作流迁移至 TPU 和 Google Cloud。
推荐理由：原文梳理了云厂商通过免重写代码迁移 PyTorch 的技术路径，有助于开发者评估摆脱单一硬件生态绑定的实际可行性。
TechCrunch · AI精选AI 评分7979 SpaceX 第三季度 AI 业务营收超预期，占总收入超五成
SpaceX 第三季度财报显示其 AI 相关业务占总收入的 52%，在数据中心与 Grok 智能体业务推动下实现 146 亿美元营收并扭亏为盈。其中超级智能业务线贡献 75 亿美元收入且算力规模达 1.7 GW，当季资本支出为 196 亿美元。公司正在田纳西州孟菲斯加速建设 Colossus II 数据中心，管理层预计第四季度资本投资将达到 350 亿至 400 亿美元。
推荐理由：材料披露了算力中心建设在工业制造协同下的推进节奏，展现出规模化算力扩张对电力与工程交付的依赖。
AWS Machine Learning BlogAI 评分4545 Rescale 如何借助 Strands Agents 和 AI-DLC 构建 AI 分诊智能体
Rescale 基于开源的 AI-DLC 软件开发方法论，在 5 天内完成了端到端测试故障分诊智能体的预发布部署。该智能体运行于 Amazon EKS 上的 Argo Workflows 流水线，调用 Amazon Bedrock 上的 Claude Opus 4.8 自动分类根本原因，并通过 MCP 查询 Pod 日志以生成修复报告。系统在数秒内即可完成处理并输出报告，数周内已推向生产环境。
AWS Machine Learning BlogAI 评分4444 别再凭空猜测 Amazon SageMaker AI 上的 TTS 自动扩缩容目标了
AWS 针对 Amazon SageMaker AI 上的 TTS 部署提出基于实测指标的自动扩缩容方案，以取代传统凭空猜测配置的做法。该方案以 82M 参数的非自回归模型 Kokoro-82M 为例，利用其实测的最大并发量 Q_max 与扩容耗时 T_total 计算扩缩容阈值。
NVIDIA BlogAI 评分4848 NVIDIA 推出 Minerva 平台，为 AI 工厂提供端到端可观测性
NVIDIA 正式推出 AIOps 平台 Minerva，旨在通过端到端可观测性帮助团队及早发现故障并维持 AI 工厂的生产力。该平台整合 GPU、网络、存储与调度信号构建动态知识图谱，每小时分析数十亿个数据点，可聚合警报并预测潜在故障。此外，Minerva 配备原生 AI 助手并支持智能体工具，Tesla、IBM、Dell Technologies 等合作伙伴已计划部署或集成。
OpenAI NewsAI 评分1717 OpenAI 的前向部署工程（FDE）意味着什么
OpenAI 阐释了前向部署工程（forward deployed engineering，简称 FDE）在其组织体系中的具体定义与含义。
MIT Technology Review · AIAI 评分3737 AI 隐藏的存储账单：模型推理留下了什么
持续运行的 AI 推理正在产生庞大后端数据留存，成为极易被忽视的基础设施隐性成本。WD 测算显示，生成一段 3.97MB 的 8 秒 720p 视频会在后端留下超 500MB 的日志与缓存，体积膨胀达 130 倍。IDC 调研表明近 95% 受访企业因生成式 AI 面临数据激增，亟需通过分层架构应对持续累积的存储开销。
arXiv stat.MLAI 评分3737 审视推理时模型偏移下的语言模型符合预测
NeurIPS 2026 入选研究指出，量化模式与推理温度等配置变化会引发“推理时模型偏移”，破坏语言模型符合预测（CP）的可交换性，导致传统评估大幅高估部署时的覆盖率。该研究在 8 个语言模型、4 个有限标签基准和 12 种推理配置下进行评测，证实该影响具有异质性，并呼吁将推理配置列为符合预测评估的一等实验维度。
NVIDIA BlogAI 评分4646 企业如何利用 NVIDIA DSX 突破电力瓶颈
全球企业正采用 NVIDIA DSX AI Factory 平台打破电网与算力孤岛，将电网、设施与 AI 工厂作为统一系统进行协同规划、仿真与运行。通过 DSX Sim、DSX Flex 等组件，企业可在开工前联合仿真电力与散热，并将 AI 工厂转化为柔性电网资产。
NVIDIA BlogAI 评分4040 欧洲领先金融机构采用开源模型构建专有智能
欧洲多家金融机构在 GTC Berlin 上展示了基于 NVIDIA 加速计算与开源权重模型在自有基础设施构建专有 AI 系统。其中 Revolut 利用 NVIDIA Blackwell Ultra GPU 扩展 PRAGMA 基础模型以服务 8000 万客户，bunq 部署开源模型使单次回答成本降低 60%。
AWS Machine Learning Blog精选AI 评分7373 AWS 详解多智能体系统落地的 5 大生产挑战与 Deep Insight 解决方案
AWS 解决方案架构团队开源了生产级多智能体系统 Deep Insight，总结了多智能体落地生产在编排、模型分工、运行时部署、安全代码执行和运维监控 5 个维度的挑战与解法。
推荐理由：文章拆解了多智能体落地生产时的编排、模型选型与沙箱隔离方案，为构建企业级 Agent 架构提供了可迁移的工程参考。
AWS Machine Learning BlogAI 评分4242 利用 AWS PrivateLink 保障企业网络安全访问 Amazon Quick
企业可通过 AWS PrivateLink 结合 Direct Connect 或 Site-to-Site VPN，实现本地数据源与 Amazon Quick 的全私网连接，避免流量暴露在公网。
arXiv cs.AIAI 评分3535 PTQ 校准何时有益何时有害：量化文本嵌入模型的剂量驱动崩溃与验证门控放弃机制
研究发现在 e5-base-v2、BGE-M3 和 EmbeddingGemma-300m 的 4-bit 权重量化中，PTQ 校准更新剂量过大会导致模型性能灾难性下降，在 EmbeddingGemma 上的 NDCG@10 变动幅度达 +1.47 至 -71.53。
arXiv cs.AIAI 评分3535 工业 AI 规划新增能力何时能创造运营价值？一种可观测证据标准
研究者提出一种可观测证据标准，通过将行动机会、执行计划变化与运营结果等维度分离，解决工业 AI 规划系统中新增能力的归因难题。在 Favorita、M5 和 Walmart 数据上的回放测试显示，某控制项在 681 个执行计划中仅改变了 15 个，且某多周期能力在产能紧张时成本反增 7.6%。该标准生成的证据记录可直接支持验证、部署范围、回退与退役等决策。
The DecoderAI 评分4949 NVIDIA 推出 DSX POD 模块化数据中心参考设计，可将 AI 数据中心搭建时间缩短至 14 天
NVIDIA 在 GTC Berlin 推出模块化数据中心参考设计 DSX POD，围绕 Vera Rubin 系统打造，可将 AI 数据中心搭建时间从六个月缩短至最低 14 天。戴尔、HPE、联想和施耐德电气等合作伙伴在工厂完成计算、网络、供电和液冷等预装测试，现场只需接通水电网即可运行。该系统采用闭环冷却可减少高达 100% 冷却用水，首批单元预计 2027 年初全球出货。