WAKMan：工作负载感知的 KV cache 管理器
研究人员提出工作负载感知的 KV cache 管理器 WAKMan，无需获知请求类型或读取提示词，即可自适应选择淘汰策略，将缓存命中率较 LRU 平均提升 5 个百分点。针对 20 种混合流量下单一策略无法通用的问题，它有效兼顾了偏好时间局部性的智能体步骤与偏好频率的长对话，在所有策略中取得了最低的平均与最坏情况最优性差距。
#部署/工程
#部署/工程
今日 4 条arXiv cs.AIAI 评分3535 arXiv cs.AIAI 评分4747 通过细粒度监控揭示 GPU 集群的优化空间
研究团队基于 Nvidia DCGM 开发出 100 ms 采样间隔的细粒度监控工具，对拥有 89 节点、319 块 GPU 的集群展开实测。对 7,399 个任务的分析显示，超 70% 任务 GPU 显存占用低于 20%，50% 任务平均 SM 利用率不足 5%，且 80% 任务申请与实际时长严重不符。结果表明可通过优化调度和 GPU 多任务大幅提升利用率，该监控工具已开源。
Latent SpaceAI 评分7171 为什么 AI Agent 偏爱 Supabase
Latent Space 专访 Supabase 联合创始人，深入探讨了 AI Agent 普遍选择 Supabase 作为应用后端的架构原因与产品演进。文章指出无需 Docker 的本地运行时、存放在 Git 中的声明式 Schema，以及紧邻数据库运行容器的 Supabase Compute，极大降低了 Agent 自主搭建与调试环境的摩擦。
The Verge · AIAI 评分7373 xAI 提议收购密西西比州居民房产以换取放弃数据中心噪音诉讼
xAI 及其子公司 MZX 提议收购密西西比州南黑文的数百套居民住宅，要求业主在交易时签署协议，放弃就附近数据中心与配套燃气轮机噪音及震动提起的诉讼与索赔。房产经纪人透露该计划涉及 418 套房屋，部分租客已被通知在 60 天内搬离。目前 xAI 在当地的大型数据中心还面临环保违规罚款、数亿美元欠款索赔以及来自民权组织的未获许可运营指控。
AWS Machine Learning BlogAI 评分4747 在 Amazon EKS 上使用 Ray Train DLC 与 EFA 进行分布式训练
AWS 推出预构建的 Ray Train 深度学习容器（DLC），集成 PyTorch 2.13.0、Ray 2.58.0 与 EFA 网络栈，支持在 Amazon EKS 上免构建镜像开展分布式训练。
AWS Machine Learning BlogAI 评分5050 基于 Amazon Bedrock AgentCore 构建企业级智能体平台架构
AWS 架构师团队推出了基于 Amazon Bedrock AgentCore 构建企业级智能体平台的参考架构与配套开源蓝图。该方案采用联邦运营模型，通过独立的平台控制面和按业务流隔离的工作单元单元格，统一部署推理网关、基于 MCP 的工具网关、短期凭证身份与细粒度配额。CI/CD 流水线设置了双向对抗评测门禁，确保每次 Agent 上线前严格验证合规调用与异常阻断。
The Verge · AIAI 评分6363 得克萨斯州选民因水电消耗与税收问题普遍反对扩建数据中心
得克萨斯州选民因担忧水资源消耗、电价上涨与税收减免成本，跨党派形成联盟抵制数据中心建设，民调显示 57% 的受访者持反对态度。尽管该州凭借 26GW 的现有及在建电力容量位居全美前列，但数据中心电网需求与用水压力引发广泛抗议，促使州长 Greg Abbott 暂停部分项目审批并要求运营商自付基础设施成本。随着中期选举临近，两党候选人均因应对数据中心激增面临来自选民和基层团体的施压。
arXiv stat.MLAI 评分5353 研究提出大语言模型中转 API 审计方法 DFA：低成本检测模型偷换与掺水
研究人员提出分布指纹审计（DFA）统计方法，仅需文本响应即可在黑盒环境下低成本检验大语言模型中转 API 是否真实提供了用户请求的模型。该方法通过重复查询简单有限选择探针构建端点指纹，并利用柯西组合检验聚合证据输出统计 p 值；在涵盖 10 个模型家族共 16 款模型的测试中，仅需 5 个探针和 250 次中转请求即可实现高检出率。
量子位AI 评分2626 做能源与算力的“搭桥人”：达卯科技以能源大脑定义算电协同 | CPE 2026
达卯科技在 CPE 2026 上展示了全栈算电协同产品体系，涵盖 AI 能源大模型与智能体集群，并提出 E-AIDC 智算中心新范式。针对绿电直连僵局，其方案通过电能量、调节、容量与碳四重市场融合寻优，在西部项目中完成 12000 种场景仿真，实现投资方 IRR 提升约 20%、用户到户电价下降 10%。
arXiv cs.AIAI 评分4444 RAQ-MLA：面向多头潜在注意力（MLA）Cache 的角色感知量化
研究者提出免训练的角色感知量化方法 RAQ-MLA，专为大模型的多头潜在注意力（MLA）Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换，将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下，其理论 KV cache 容量提升 6.5x，并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
arXiv cs.AIAI 评分3434 分布偏移下的反事实模型测试
针对部署机器学习模型在分布偏移且缺乏标签时的性能衰退，研究者提出了一种反事实模型测试方法。该方法在受控基线数据上分别复现总体变化与特征管道数据完整性问题两种机制，用于评估模型当前性能及修复数据问题的潜在收益。真实数据集与流失预测案例实验表明，区分这两种来源可提升评估精度，有效支持监控和修复优先级决策。
Together AI BlogAI 评分4040 Together GPU 集群自动修复功能：从 GPU 故障到健康节点恢复
Together AI 详解了其 GPU 集群的自动修复系统，通过“被动健康检查”持续监测虚拟机内部与宿主机底层，在检测到 GPU 故障时推荐最轻量级的修复操作。该系统涵盖检测、决策、修复与物理宿主机重验四个阶段，支持用户按具体故障类型自定义全自动或人工审批策略，并可设置等待运行中作业结束。目前被动健康检查、自动修复策略及控制台与 API 修复均已正式可用。
Latent Space精选AI 评分7676 Anthropic 如何安全交付前沿模型：将“大脑”与 Agent 的“双手”解耦
Anthropic 团队成员在 Latent Space 访谈中拆解了 Claude 平台的工程架构，核心是通过将模型的大脑与 Agent 执行动作的双手解耦来保障系统安全。对话深入讨论了 Claude Opus 5.5 的发布背景、用 Rust 重构 Messages API、沙箱与凭据隔离机制，以及应对长运行 Agent 跨上下文窗口维护状态的 Harness 方案。
推荐理由：访谈拆解了模型思考与 Agent 执行沙箱解耦的工程隔离方案，为构建安全可靠的 Agent 基础设施提供了具体参考。
Latent SpaceAI 评分6868 Anthropic 团队访谈：如何以“大脑与双手分离”架构交付 Claude 与智能体
Anthropic 工程与产品团队在访谈中复盘了 Opus 5.5 的发布流程，重点介绍了在安全防御、API 演进及 Managed Agents 架构上的工程实践。团队详细阐述了将智能体会话控制层与代码执行沙盒物理隔离的设计，有效避免了沙盒崩溃波及全局并防止运行凭据泄漏。此外，团队还探讨了通过跨轮次保留思考块来防御模型蒸馏攻击，以及依托早期客户 harness 开展非确定性评测的经验。
AWS Machine Learning BlogAI 评分5757 Exowatt 基于 SageMaker 无服务器微调小模型，特定任务准确率超越前沿模型
清洁能源企业 Exowatt 采用 Amazon SageMaker AI 无服务器模型微调流水线，分别针对边缘警报分流与云端能源市场分析微调 Qwen3 模型，在特定任务上的准确率超越了 Claude Opus 4.7 等前沿模型，成本最高降低 49 倍。
AWS Machine Learning BlogAI 评分5151 Amazon SageMaker AI 支持 SOCI 索引镜像加速任务启动
Amazon SageMaker AI 训练和处理任务正式支持 Seekable OCI（SOCI）索引镜像，通过延迟加载机制将容器启动时间从数分钟缩短至数秒。基准测试显示镜像拉取期间的 GPU 空闲时间最多减少 90%，且除了首轮微调有秒级加载延迟外不影响后续训练性能。开发者可直接使用带有 -soci 后缀的官方深度学习容器，或通过开源 SOCI snapshotter 对自定义镜像建立索引。
TechCrunch · AIAI 评分5252 Nvidia 参投印度 AI 推理优化初创公司 Simplismart 的 1400 万美元融资
Nvidia 参投了印度初创公司 Simplismart 的 1400 万美元 B 轮融资，该轮融资由 Dallas Venture Capital 领投，公司投后估值约为 1 亿美元。
arXiv cs.LGAI 评分3939 BiLoCo：面向训练后量化的二值低秩校正方法
BiLoCo 是一种面向大模型 FP4 训练后量化（PTQ）的二值低秩校正方法，将校正因子存为二值符号向量，单秩分量存储减少 16 倍，且可在 CUDA Core 上与 Tensor Core FP4 GEMM 并发运行。
arXiv cs.LGAI 评分3939 GS-MoE：基于分组子空间共享与剪枝的免训练 MoE 压缩
研究人员提出免训练 MoE 压缩框架 GS-MoE，通过分组共享低秩子空间与基于 Nyström 的神经元剪枝压缩专家参数。在 DeepSeek-MoE-16B-Base 上减少 60% 模型总参数时，GS-MoE 保留了约 90% 的平均推理性能（D^2-MoE 为 73%），且域外困惑度低 20%。该框架还采用无梯度的层重要性评分进行分层预算分配，相关代码已开源。
arXiv cs.LGAI 评分3737 TWIG：每个权重都是一条共享离散决策路径
研究者提出神经网络权重表示方法 TWIG，将权重转化为继承门控的共享离散决策路径，从而将剪枝、量化与低秩分解统一为单一优化。当决策采用 2 的幂次时，网络权重层可转为几乎仅由连线与加法器构成的硬件电路。在 LLM 矩阵的 3- 和 4-bit 测试中，TWIG 在同等误差下比 GPTQ 减少 9–15% 的加法操作，含强异常值的矩阵减少 20–55%。
arXiv cs.LGAI 评分3434 延迟解码与单次乘法：重新审视量化权重的点积计算
针对 1-4 bit 权重部署，研究者提出延迟解码点积重构方案，使长度为 n、k-bit 权重的点积仅需 n+2^k 次加法与至多 2^k 次解码和乘法。该方案将权重编码直接用作地址累加激活值并在末尾统一解码乘算，使乘法器数量减少 n/2^k 倍，局部权重内存缩减最高达 w_d/k。基于此设计的 SA-PE 处理单元已在 FPGA 综合中验证了硬件收益与计算等价性。
arXiv cs.LGAI 评分3737 大模型结构化稀疏学习：兼顾模型可压缩性与高效推理
研究人员提出 S-SALAAD 框架，在训练中联合学习低秩与结构化稀疏组件，使单个 checkpoint 能弹性适配多种内存预算。该框架支持硬件兼容稀疏模式并配备专用 CPU 与 GPU 内核，消除传统稀疏的索引与内存开销。在 Llama2 和 Qwen3 上的实验表明，其在困惑度、内存占用和推理延迟上均推进了经验 Pareto 前沿。
arXiv cs.LGAI 评分3434 投机扩散的双重权衡
研究提出通过联合调整扩散工作量与投机解码宽容度，探索投机扩散（Speculative Diffusion）的速度与质量帕累托前沿。扩散大语言模型（dLLMs）能通过并行生成 token 作为草稿模型加速推理，投机解码本身也能放宽验证器的接受标准来实现有损快速采样。实验表明，联合调节这两项参数相比单步扩散草稿能有效扩展速度-质量帕累托前沿。
arXiv cs.LGAI 评分3535 通过按查询模态选择实现高效全模态大语言模型推理
研究提出面向全模态大语言模型（Omni-LLM）的逐查询模态选择方法，在保持模型固定的前提下自适应选取输入模态，以优化准确率与推理成本的权衡。在 WorldSense 基准上评估 Qwen2.5-Omni 与 Qwen3-Omni 发现，该方法表现均优于全模态输入基线。
量子位AI 评分3939 趋境科技完成超 13 亿元 B 轮融资，加速高品质 AI Token 规模化交付
高品质 AI Token 生产服务商趋境科技完成超 13 亿人民币 B 轮融资，今年内累计募资已达 24 亿人民币。本轮募集资金将重点投向 AI Token 产能扩张、ATaaS 平台升级迭代及推理底层技术研发。目前其日均高品质 AI Token 产量已超万亿量级，并落地了国产 Prefill-Decode 异构协同等多项推理优化方案。
量子位AI 评分4040 商汤大装置包揽中国近50% Neocloud市场份额
沙利文与头豹研究院报告显示，商汤科技旗下商汤大装置（SenseCore）拿下中国Neocloud（新云）市场近50%份额。其日均Token服务量在9月底已达6万亿规模，依托异构混推PD分离方案使整体推理性价比达到主流高端GPU的1.25倍。此外，其算电协同方案使单位电力成本的Token产出提升80%，平均电费比同地区IDC降低10%。
Cloudflare Blog精选AI 评分7676 Cloudflare 复盘 Workers AI 中 GLM-5.3 的 KV cache 跨请求泄露漏洞及 SGLang 修复方案
Cloudflare 披露 Workers AI 在运行 GLM-5.3 时因配置失误与 SGLang 缺陷出现跨请求 KV cache 泄露，影响了 155 个超长 prompt 响应并已完成修复上线。
推荐理由：原文详细拆解了分离式推理下缓存复用导致的跨租户数据泄露机制，为大模型托管服务排查引擎内存安全提供了参考。
OpenAI NewsAI 评分2424 Codex Ultrafast 如何将 OpenAI 的事件调查时间从数小时缩短至数分钟
OpenAI 工程师正在使用 Codex Ultrafast 将事件调查时间从数小时缩短至数分钟。此外，该工具还被用于实现更快速的安全分析、代码重构以及日常工作流。
AWS Machine Learning BlogAI 评分5959 AWS 详解如何用 CDK 在 Amazon Bedrock 托管知识库上构建智能体检索方案
AWS 介绍了如何通过 AWS CDK 在 Amazon Bedrock 托管知识库（Managed Knowledge Base）和 AgentCore 上构建企业级智能体检索系统。
AWS Machine Learning BlogAI 评分5757 Amazon Bedrock 上使用 OpenAI 模型的智能体提示词缓存设计模式
AWS 介绍了在 Amazon Bedrock 上调用 OpenAI 模型构建 AI 智能体时的提示词缓存设计模式，通过结合显式断点与隐式自动缓存降低多轮调用的输入成本。指南涵盖了静态指令与工具定义的跨会话复用、运行时追加工具、子智能体预热并发扇出以及 Prompt Cache Key 的设计规范。测试显示在 6 轮对话场景中，该模式可使模型输入成本降低超过 60%。
AWS Machine Learning BlogAI 评分4444 使用 SageMaker SDK v3 实现边缘设备的大规模计算机视觉全生命周期管理
AWS 推出针对边缘计算机视觉全生命周期管理的架构方案，并适配 Amazon SageMaker Python SDK v3。该方案通过双分支 SageMaker Pipeline 为每个摄像头分别训练自编码器异常检测与 ResNet18 缺陷分类模型，经质量门禁后由 SageMaker Neo 编译优化并注册。
The DecoderAI 评分6666 华尔街高频交易巨头自建数据中心并投资芯片初创公司以争夺 AI 优势
Jane Street 与 Hudson River Trading 等华尔街高频交易公司正投入数十亿美元自建数据中心并投资初创公司，算力支出已达 ChatGPT 推出前的 10 到 20 倍。
arXiv cs.AIAI 评分3939 MPQ：后训练量化的消息传递视角
研究团队提出消息传递量化（MPQ），将大模型后训练量化建模为离散码本后验推断，在推断中保留跨块软后验信息。MPQ 先利用向量近似消息传递计算近似分块后验，再通过精确分块坐标下降精炼硬决策。在 Llama、Qwen 与 Mistral 的 2-bit 格子量化及 3-bit、4-bit 标量量化测试中，MPQ 改善了困惑度与 zero-shot 准确率，代码已开源。
arXiv cs.AIAI 评分4242 HyScale：面向可学习稀疏注意力的长上下文训练系统
HyScale 是一套面向可学习稀疏注意力的长上下文训练系统，通过 HyTopK 免分数表检索与选择复用（selection replay）机制消除训练瓶颈。在 512 张 H20 GPU 上，该系统将 GLM-5.1 在 1M token 序列上的训练速度较 Megatron-LM 提升 2.07x。
arXiv cs.AIAI 评分3535 以可复现评估为基础的生产级智能体安全提示词压缩
研究人员针对动态数据的生产级对话智能体提出离线评估框架，既能抵御实时数据变动又可按需重建，并用作基于 GEPA 的提示词优化适应度函数。配合正确性门控防止奖励作弊，该方案在商家端生产智能体上将提示词压缩 3.5-7.6%。测试显示，压缩在 3 个独立模型族上均未降低任务正确性，还让其中一个模型的正确性获得可测提升。
arXiv cs.AIAI 评分4242 重试许可：AI 智能体工作流中的授权与恢复研究
该研究针对使用工具的 AI 智能体在执行期的可靠性，将恢复决策与语言模型行为解耦，评估了工作流中的授权与恢复机制。在 LangGraph 和 Temporal 主机上执行的 336 项历史测试中，保留账本对账策略在两平台上均通过全部 42 项测试。重试前重新验证、稳定键重试和缓存重试策略则分别通过 36、31 和 30 项测试。
arXiv cs.AIAI 评分3434 GRAM：基于子空间对齐的分组低秩感知模型合并方法
针对多任务模型合并中的子空间干扰问题，研究者提出分组低秩感知模型合并方法 GRAM。该方法仅依赖微调权重，利用任务向量的主角几何特性将相容任务分组，并在组内执行基于 SVD 的合并。在仅增加一个模型（K=2）的设定下，GRAM 在 Flan-T5、8 任务 CLIP 及 Qwen2-7B-Instruct 医疗指令微调任务中均优于先前合并方法。
AWS Machine Learning Blog精选AI 评分6363 Amazon SageMaker AI 多轮强化学习实战指南：智能体端到端训练与评估
AWS 推出在 Amazon SageMaker AI 上使用多轮强化学习（MTRL）训练智能体的端到端实战指南，解决多步任务难以通过监督微调或单轮强化学习进行信用分配的问题。
推荐理由：原文在 Wordle 任务上展示了如何用整局反馈训练多步智能体，并详细复盘了奖励塑形翻车和并发鉴权等工程踩坑。
AWS Machine Learning BlogAI 评分4949 Bayer Crop Science 如何基于 Amazon Bedrock AgentCore 构建智能体决策引擎
Bayer Crop Science 基于 Amazon Bedrock AgentCore 与 LangGraph 构建了多智能体决策引擎 ADE，首阶段在无需工程师介入的情况下可解决约 80% 的用户问题。
AWS Machine Learning BlogAI 评分4343 用 AWS CDK 编排 SageMaker AI 端点自动扩缩容
AWS 提出了利用 AWS CDK 可复用 construct 编排 Amazon SageMaker AI 端点自动扩缩容的方案，解决了更新端点配置导致 CloudFormation 部署失败的问题。该方案通过三个自定义资源在端点更新前后自动按序注销并重新注册扩缩容目标与策略。用户无需人工干预，即可在单次部署中同时完成端点配置与扩缩容参数的更新。