通过按查询模态选择实现高效全模态大语言模型推理
研究提出面向全模态大语言模型（Omni-LLM）的逐查询模态选择方法，在保持模型固定的前提下自适应选取输入模态，以优化准确率与推理成本的权衡。在 WorldSense 基准上评估 Qwen2.5-Omni 与 Qwen3-Omni 发现，该方法表现均优于全模态输入基线。
#部署/工程
#部署/工程
今日 3 条arXiv cs.LGAI 评分3535 Cloudflare Blog精选AI 评分7676 Cloudflare 复盘 Workers AI 中 GLM-5.3 的 KV cache 跨请求泄露漏洞及 SGLang 修复方案
Cloudflare 披露 Workers AI 在运行 GLM-5.3 时因配置失误与 SGLang 缺陷出现跨请求 KV cache 泄露，影响了 155 个超长 prompt 响应并已完成修复上线。
推荐理由：原文详细拆解了分离式推理下缓存复用导致的跨租户数据泄露机制，为大模型托管服务排查引擎内存安全提供了参考。
OpenAI NewsAI 评分2424 Codex Ultrafast 如何将 OpenAI 的事件调查时间从数小时缩短至数分钟
OpenAI 工程师正在使用 Codex Ultrafast 将事件调查时间从数小时缩短至数分钟。此外，该工具还被用于实现更快速的安全分析、代码重构以及日常工作流。
AWS Machine Learning BlogAI 评分5959 AWS 详解如何用 CDK 在 Amazon Bedrock 托管知识库上构建智能体检索方案
AWS 介绍了如何通过 AWS CDK 在 Amazon Bedrock 托管知识库（Managed Knowledge Base）和 AgentCore 上构建企业级智能体检索系统。
AWS Machine Learning BlogAI 评分5757 Amazon Bedrock 上使用 OpenAI 模型的智能体提示词缓存设计模式
AWS 介绍了在 Amazon Bedrock 上调用 OpenAI 模型构建 AI 智能体时的提示词缓存设计模式，通过结合显式断点与隐式自动缓存降低多轮调用的输入成本。指南涵盖了静态指令与工具定义的跨会话复用、运行时追加工具、子智能体预热并发扇出以及 Prompt Cache Key 的设计规范。测试显示在 6 轮对话场景中，该模式可使模型输入成本降低超过 60%。
AWS Machine Learning BlogAI 评分4444 使用 SageMaker SDK v3 实现边缘设备的大规模计算机视觉全生命周期管理
AWS 推出针对边缘计算机视觉全生命周期管理的架构方案，并适配 Amazon SageMaker Python SDK v3。该方案通过双分支 SageMaker Pipeline 为每个摄像头分别训练自编码器异常检测与 ResNet18 缺陷分类模型，经质量门禁后由 SageMaker Neo 编译优化并注册。
arXiv cs.AIAI 评分3939 MPQ：后训练量化的消息传递视角
研究团队提出消息传递量化（MPQ），将大模型后训练量化建模为离散码本后验推断，在推断中保留跨块软后验信息。MPQ 先利用向量近似消息传递计算近似分块后验，再通过精确分块坐标下降精炼硬决策。在 Llama、Qwen 与 Mistral 的 2-bit 格子量化及 3-bit、4-bit 标量量化测试中，MPQ 改善了困惑度与 zero-shot 准确率，代码已开源。
arXiv cs.AIAI 评分4242 HyScale：面向可学习稀疏注意力的长上下文训练系统
HyScale 是一套面向可学习稀疏注意力的长上下文训练系统，通过 HyTopK 免分数表检索与选择复用（selection replay）机制消除训练瓶颈。在 512 张 H20 GPU 上，该系统将 GLM-5.1 在 1M token 序列上的训练速度较 Megatron-LM 提升 2.07x。
arXiv cs.AIAI 评分3535 以可复现评估为基础的生产级智能体安全提示词压缩
研究人员针对动态数据的生产级对话智能体提出离线评估框架，既能抵御实时数据变动又可按需重建，并用作基于 GEPA 的提示词优化适应度函数。配合正确性门控防止奖励作弊，该方案在商家端生产智能体上将提示词压缩 3.5-7.6%。测试显示，压缩在 3 个独立模型族上均未降低任务正确性，还让其中一个模型的正确性获得可测提升。
arXiv cs.AIAI 评分4242 重试许可：AI 智能体工作流中的授权与恢复研究
该研究针对使用工具的 AI 智能体在执行期的可靠性，将恢复决策与语言模型行为解耦，评估了工作流中的授权与恢复机制。在 LangGraph 和 Temporal 主机上执行的 336 项历史测试中，保留账本对账策略在两平台上均通过全部 42 项测试。重试前重新验证、稳定键重试和缓存重试策略则分别通过 36、31 和 30 项测试。
arXiv cs.AIAI 评分3434 GRAM：基于子空间对齐的分组低秩感知模型合并方法
针对多任务模型合并中的子空间干扰问题，研究者提出分组低秩感知模型合并方法 GRAM。该方法仅依赖微调权重，利用任务向量的主角几何特性将相容任务分组，并在组内执行基于 SVD 的合并。在仅增加一个模型（K=2）的设定下，GRAM 在 Flan-T5、8 任务 CLIP 及 Qwen2-7B-Instruct 医疗指令微调任务中均优于先前合并方法。
AWS Machine Learning Blog精选AI 评分6363 Amazon SageMaker AI 多轮强化学习实战指南：智能体端到端训练与评估
AWS 推出在 Amazon SageMaker AI 上使用多轮强化学习（MTRL）训练智能体的端到端实战指南，解决多步任务难以通过监督微调或单轮强化学习进行信用分配的问题。
推荐理由：原文在 Wordle 任务上展示了如何用整局反馈训练多步智能体，并详细复盘了奖励塑形翻车和并发鉴权等工程踩坑。
AWS Machine Learning BlogAI 评分4949 Bayer Crop Science 如何基于 Amazon Bedrock AgentCore 构建智能体决策引擎
Bayer Crop Science 基于 Amazon Bedrock AgentCore 与 LangGraph 构建了多智能体决策引擎 ADE，首阶段在无需工程师介入的情况下可解决约 80% 的用户问题。
AWS Machine Learning BlogAI 评分4343 用 AWS CDK 编排 SageMaker AI 端点自动扩缩容
AWS 提出了利用 AWS CDK 可复用 construct 编排 Amazon SageMaker AI 端点自动扩缩容的方案，解决了更新端点配置导致 CloudFormation 部署失败的问题。该方案通过三个自定义资源在端点更新前后自动按序注销并重新注册扩缩容目标与策略。用户无需人工干预，即可在单次部署中同时完成端点配置与扩缩容参数的更新。
OpenAI NewsAI 评分3838 快速扩展在线存储以服务超 10 亿 ChatGPT 用户（第二篇）
OpenAI 通过引入可靠的多租户机制、全局缓存以及 Azure Cosmos DB 扩展了内部存储系统 Habitat，为 ChatGPT 实现了 12x 的读取速度提升。该方案旨在快速扩展在线存储能力，以稳定服务超过 10 亿 ChatGPT 用户。
arXiv cs.LGAI 评分3636 Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命
Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出，旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息，优先将 full-attention 的 KV cache 写入 SSD，在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微，并可扩展至高带宽闪存（HBF）。
arXiv cs.LGAI 评分3333 用于视觉任务的脉冲感知梯度混合精度脉冲神经网络量化方法
研究人员提出了一种面向脉冲神经网络（SNN）的脉冲感知基于梯度的混合精度量化框架，利用一阶梯度自适应分配位宽，无需昂贵的高阶 Hessian 计算。在 ImageNet 上的 ResNet-34 评测中，该方法在 4.78x 压缩下达到 73.30% 准确率，效果匹敌 HAWQ-V2 的同时将内存开销降低 2.31x，位分配运行时间缩短 100x。
arXiv cs.LGAI 评分3232 异构边缘平台模型压缩技术评测：以旋转机械预测性维护为例
一项针对工业旋转机械预测性维护的研究评测了 9 类异构计算平台上的 4 种模型压缩技术，结果显示知识蒸馏表现最有效。经知识蒸馏压缩的卷积神经网络模型体积缩减 98.9%，在所有设备上实现超过 90% 的推理加速，同时保持了 91.22% 的平衡 F-score，显著降低了计算与能源开销。
arXiv cs.LGAI 评分2424 用于嵌入式系统植物病害识别的轻量级群注意力网络 GANet
研究人员提出了轻量级群等变注意力网络 GANet，专用于 38 种植物病害的预测与监测。该模型引入了群注意力模块与逐群特征融合模块，仅包含 0.001M 参数，在 PlantVillage 数据集上取得了 99.99% 的准确率。GANet 针对边缘设备进行了部署优化，在 Raspberry Pi 4b 和 Jetson Nano 上分别达到 5 FPS 和 11 FPS。
arXiv cs.LGAI 评分4040 MoEZip：面向稀疏 MoE 大语言模型的路由感知 KV Cache 压缩
MoEZip 是一种面向稀疏 MoE 大模型的路由感知 KV cache 压缩方法，解决了 KV 淘汰改变专家路由并损害生成质量的问题。该方法基于路由分布的 Fisher 信息矩阵评估敏感度，并结合注意力权重对上下文评分。在 10% 的 KV 保留率下，MoEZip 在 LongBench 和 RULER 上较 SOTA 基准平均提升 +24 和 +20 分，分别达到 2.3x 和 4.9x。
arXiv cs.LGAI 评分4040 FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体强化学习的系统优化研究
研究者针对 Qwen3.8-Flash-Next 推出强化学习优化框架 FlashNext-RL，在单台 8xB200 节点上实现了 48 层完整模型的 BF16 训练。
arXiv cs.LGAI 评分3434 将 Transformer 视为通用深度神经网络：精确编译、移除激活乘积的代价与多智能体注意力聚类
Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络，摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类，每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致，并可直接应用标准训练后量化。
arXiv cs.LGAI 评分4545 2:4 稀疏度还值得用吗？LLM 推理中半结构化稀疏与量化的对比研究
研究表明在 LLM 推理中只要更低精度可用，降精度优于引入 2:4 稀疏度，后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时，2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速；在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行，Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。
arXiv cs.LGAI 评分3636 LEAN：通过损失工程调节模型权重敏感度分布以实现高效容错神经网络
研究人员提出名为 LEAN 的复合正则化方法，通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项，在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍，精度损失在 0.5 个点以内，并初步验证于 3 个小型语言模型。
arXiv cs.LGAI 评分3232 面向电力负荷预测的极低状态量化 Transformer
研究人员针对电力负荷预测提出了基于 Transformer 的极低状态（3、5、7 和 16 状态）权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点，而感知量化微调（QAT-FT）成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%，为多值突触器件的低功耗边缘预测提供了紧凑实现路径。
arXiv cs.LGAI 评分3535 用于大语言模型非结构化训练后剪枝的嵌套 LADDER 框架
研究人员提出大语言模型非结构化训练后剪枝框架 LADDER，通过逐层损伤驱动评估与微调增量分配稀疏度，生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中，该方法以 SparseGPT 为候选生成后端，在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留，有效提升了零样本综合准确率。
arXiv cs.LGAI 评分2828 基于 FPGA 与集成电路平台的强化学习硬件加速及系统级优化综述
一篇新发表的综述系统分析了基于 FPGA 与集成电路（IC）平台的强化学习硬件加速及系统级优化进展，汇总了超过 100 项相关研究。文献梳理涵盖基于模型的马尔可夫决策过程、深度强化学习、Actor-Critic、策略梯度及多智能体方法，剖析算法向可重构与固定硬件的映射。评测维度覆盖资源利用率、延迟、吞吐量和功耗等指标，并总结了通用架构模式与未来研究方向。
arXiv cs.LGAI 评分4444 KVLearn：分离式 LLM 推理系统中基于学习的 KV cache 保留框架
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn，用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作，无需修改模型权重。评测显示，KVLearn 相比 LRU-Pool 将端到端首字延迟（TTFT）降低最高 38%，并减少最高 53% 的节点间传输量，代码已开源。
AWS Machine Learning BlogAI 评分5454 如何在 Amazon SageMaker AI 上利用 Kokoro TTS 实现智能体低延迟语音流式传输
AWS 介绍了在 Amazon SageMaker AI 上通过双向流部署 Kokoro-82M 语音合成模型的低延迟方案，智能体每生成完一个单句即刻启动合成，无需等待完整回复生成完毕。
AWS Machine Learning BlogAI 评分3737 如何在符合 HIPAA 规范的环境中通过 Amazon Quick 部署 AI
Amazon Quick 作为符合 HIPAA 资质的智能体工作区，支持在 Web、桌面和移动端通过聊天智能体处理临床记录等非结构化内容与理赔等结构化数据。该服务提供预置连接器与基于 MCP 的自定义工具扩展，并具备 ACL 感知检索、聊天日志审计及行为护栏等治理能力。用户需在 AWS Artifact 签署 BAA 并完成权限与安全配置，以构建合规的工作流。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker 推出训练会话 API，无需管理 GPU 即可编写自定义训练循环
Amazon SageMaker AI 推出训练会话 API（training session APIs），允许开发者在本地 Python 环境编写自定义训练循环，并将 GPU 算力执行完全托管在云端。
推荐理由：该 API 将算力调度与训练控制流解耦并按 Token 计费，让开发者无需运维 GPU 即可低门槛实现自定义对齐与强化学习算法。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker AI 推出无服务器训练会话功能：免管理 GPU 定制模型
Amazon SageMaker AI 正式推出无服务器模型定制的训练会话（training sessions）功能，允许开发者在无需管理 GPU 集群和分布式配置的情况下，通过代码灵活控制后训练循环与奖励函数。
推荐理由：原文展示了如何通过 Serverless 架构托管底层算力调度，让开发者直接用代码灵活控制多轮强化学习训练循环。
AWS Machine Learning BlogAI 评分3939 IskayPet 如何利用 Amazon Bedrock Managed Knowledge Bases 统一企业知识库
宠物护理公司 IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建了企业知识库助手，无需自行管理向量数据库和数据摄取等 RAG 基础设施。
AWS Machine Learning BlogAI 评分4545 Rescale 如何借助 Strands Agents 和 AI-DLC 构建 AI 分诊智能体
Rescale 基于开源的 AI-DLC 软件开发方法论，在 5 天内完成了端到端测试故障分诊智能体的预发布部署。该智能体运行于 Amazon EKS 上的 Argo Workflows 流水线，调用 Amazon Bedrock 上的 Claude Opus 4.8 自动分类根本原因，并通过 MCP 查询 Pod 日志以生成修复报告。系统在数秒内即可完成处理并输出报告，数周内已推向生产环境。
AWS Machine Learning BlogAI 评分4444 别再凭空猜测 Amazon SageMaker AI 上的 TTS 自动扩缩容目标了
AWS 针对 Amazon SageMaker AI 上的 TTS 部署提出基于实测指标的自动扩缩容方案，以取代传统凭空猜测配置的做法。该方案以 82M 参数的非自回归模型 Kokoro-82M 为例，利用其实测的最大并发量 Q_max 与扩容耗时 T_total 计算扩缩容阈值。
NVIDIA BlogAI 评分4848 NVIDIA 推出 Minerva 平台，为 AI 工厂提供端到端可观测性
NVIDIA 正式推出 AIOps 平台 Minerva，旨在通过端到端可观测性帮助团队及早发现故障并维持 AI 工厂的生产力。该平台整合 GPU、网络、存储与调度信号构建动态知识图谱，每小时分析数十亿个数据点，可聚合警报并预测潜在故障。此外，Minerva 配备原生 AI 助手并支持智能体工具，Tesla、IBM、Dell Technologies 等合作伙伴已计划部署或集成。
OpenAI NewsAI 评分1717 OpenAI 的前向部署工程（FDE）意味着什么
OpenAI 阐释了前向部署工程（forward deployed engineering，简称 FDE）在其组织体系中的具体定义与含义。
arXiv stat.MLAI 评分3737 审视推理时模型偏移下的语言模型符合预测
NeurIPS 2026 入选研究指出，量化模式与推理温度等配置变化会引发“推理时模型偏移”，破坏语言模型符合预测（CP）的可交换性，导致传统评估大幅高估部署时的覆盖率。该研究在 8 个语言模型、4 个有限标签基准和 12 种推理配置下进行评测，证实该影响具有异质性，并呼吁将推理配置列为符合预测评估的一等实验维度。
NVIDIA BlogAI 评分4646 企业如何利用 NVIDIA DSX 突破电力瓶颈
全球企业正采用 NVIDIA DSX AI Factory 平台打破电网与算力孤岛，将电网、设施与 AI 工厂作为统一系统进行协同规划、仿真与运行。通过 DSX Sim、DSX Flex 等组件，企业可在开工前联合仿真电力与散热，并将 AI 工厂转化为柔性电网资产。
NVIDIA BlogAI 评分4040 欧洲领先金融机构采用开源模型构建专有智能
欧洲多家金融机构在 GTC Berlin 上展示了基于 NVIDIA 加速计算与开源权重模型在自有基础设施构建专有 AI 系统。其中 Revolut 利用 NVIDIA Blackwell Ultra GPU 扩展 PRAGMA 基础模型以服务 8000 万客户，bunq 部署开源模型使单次回答成本降低 60%。