扩散语言模型的策略内残差学习框架 ORL
研究者提出扩散语言模型策略内残差学习框架 ORL，通过在去噪轨迹中即时学习并引入熵收缩目标，结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上，ORL 使每次前向传播生成 token 数提升高达 6.2x，配合 dlmrt 引擎端到端吞吐提升约 6.9x。
#部署/工程
#部署/工程
今日 3 条arXiv cs.LGAI 评分4747 arXiv cs.LGAI 评分3737 RoLaQ：针对多头潜在注意力中 2-Bit KV Cache 的联合旋转与范围校准
研究人员提出离线校准方法 RoLaQ，通过联合旋转与范围校准优化多头潜在注意力（MLA）架构下的 2-bit KV cache 压缩。在 3 个 MLA 模型和 6 项评测基准上，RoLaQ 在对比的 2-bit 方法中均取得了最高平均精度。
arXiv cs.LGAI 评分3434 扩展注意力：通过泰勒级数实现固定循环状态数的线性时间 Transformer
研究提出将注意力机制的指数核展开为截断泰勒级数，将其因式分解并压缩为固定 $n$ 个循环状态，实现了独立于上下文长度 $N$ 的线性时间 Transformer。
arXiv cs.AIAI 评分3434 企业软件集成智能体 AI 的参考架构：职责、交互与可变性
研究人员提出了一种用于将智能体 AI 集成至企业软件的技术中立参考架构，将各类架构能力归纳为 10 项核心职责，并定义了边界不变式、跨职责交互与变异点。该架构在现存面向服务的 ESG 组合分析与交易前合规系统中落地验证，实现了其中 7 项职责，并成功映射了一套独立发布的智能体架构。相关部署与记录结果已作为复现包提供。
arXiv cs.AIAI 评分4040 GateSight：利用循环记忆预测注意力记忆以实现混合大语言模型的 KV 驱逐
研究人员提出 GateSight 方法，利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号，无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
arXiv cs.AIAI 评分4141 SAGE：推动 2-bit 矢量量化大语言模型迈向实用
研究人员提出针对仅权重矢量量化的 SAGE 方法，通过能量分层分组保护敏感通道，并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下，SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现，在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
arXiv cs.AIAI 评分4545 在 LLM 上迭代，在 SLM 上服务
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑，再将真实线上行为通过 SFT 蒸馏到小语言模型（SLM）的部署方案。在护理排班场景中，基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性，表现比教师模型 GPT-5.4-nano 更稳定，盲测中以 48 比 29 获专业人员认可，并将中位数延迟降低约 2.5 倍且大幅降低成本。
arXiv cs.AIAI 评分5454 研究实测开源大语言模型跨基准、推理模式与硬件的推理能效
一项针对 86 个开源大语言模型检查点的实测研究显示，能力相近的模型推理能效差异显著，开启思考推理模式平均会增加约 3.7 倍能耗。测试覆盖 7 个基准测试与 6 种硬件平台，发现多数配置偏离能效 Pareto 前沿，能耗比同性能配置中位数高出 2.6 至 4.8 倍。此外，FP8 量化可在分数基本不变的情况下减少约四分之一能耗，而生成 token 数量并不能完全代表实际能耗。
arXiv cs.AIAI 评分4141 Echo：面向大语言模型训练与推理的误差补偿 4-Bit 张量并行通信
研究者提出面向大语言模型训练与推理的 4-bit all-reduce 方案 Echo，通过高精度求和与误差反馈消除累积量化误差，且无需 FP8 或 FP4 硬件。
Apple ML Research精选AI 评分7373 Mac Studio 结合 MLX 与 RDMA 实现大语言模型本地及分布式推理评测
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动，在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由：文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据，为端侧分布式推理部署提供了具体参考。
AWS Machine Learning BlogAI 评分4444 Meta 开源模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart
Meta 代码优化开放权重模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart，支持在 AWS 账户中直接部署。
Cloudflare Blog精选AI 评分7171 Cloudflare 与 VoidZero 开源全栈开发部署套件 Void
Cloudflare 与 VoidZero 正式开源全栈应用开发与部署套件 Void，包含部署平台 Void Platform、全栈 SDK 及命令行工具 CLI。
推荐理由：原文提供了基于 Vite 自动配置云资源与全栈部署的方案，有助于团队在保障安全的前提下规范编码智能体生成的内部应用。
arXiv stat.MLAI 评分3434 超越专家排序：用于混合精度 MoE 量化的对比度校准框架 NatScale
研究人员提出混合精度 MoE 量化分配框架 NatScale，通过特定模型的幂变换将基于梯度的专家权重校准至对比度目标，同时保留排序。该方法联合评估每个专家的 gate、up 和 down 配置来估计输出误差，并在存储预算下优选精度配置。
arXiv stat.MLAI 评分3636 SpectrumQuant：基于谱对齐的 LLM 量化方法
研究人员提出面向 LLM 训练后量化的闭式正交旋转方法 SpectrumQuant，通过校准数据估计激活协方差以实现谱对齐。该方法将量化友好型旋转解构为对齐与混合组件，并涵盖了 Hadamard 矩阵与蝶形矩阵。在 Llama 和 Mistral 上的实验表明，其表现媲美 SOTA 策略，GPU 显存需求不足 SpinQuant 和 DartQuant 的 1/3 且耗时显著缩短。
arXiv stat.MLAI 评分3838 嵌入几何对 LLM 路由的影响：失效模式探究与泛化提升
新研究发现语义嵌入的邻近特征无法可靠指导未知任务的模型选择，导致 LLM 路由泛化受限。为此，研究团队提出运行 Qwen2.5-7B-Instruct 的部分前向传播，取其深层最后 token 的 hidden state 作为替代特征表征。配合 kNN 等简单分类器，该方案超越了所有语义嵌入基线，并在 RouterBench 上击败了近期基于 hidden states 的 SOTA 路由器。
arXiv stat.MLAI 评分3838 System 1 模型的校准与风险预算决策研究
研究针对缺乏人工兜底的 LLM 工作流与智能体二元决策场景，提出在不确定时采用保守策略并控制假阴性风险的框架。在涵盖审核、安全与重排序的 6 个数据集评测中，朴素阈值选择基准在约半数设定下超出了目标风险，而具备有限样本统计保证的 Learn Then Test（LTT）超标率仅为 7.8%。该结果表明仅依赖类概率接口不足以支撑部署决策。
arXiv cs.LGAI 评分3535 Spectral-MoE：Dense-to-MoE 转换中各层异构专家利用率优化
研究人员提出 Spectral-MoE，通过静态逐层标量和动态逐 token 调度两种方案，在 Dense-to-MoE 转换中跨网络层异构分配专家利用率预算。
arXiv cs.LGAI 评分3434 基于共形认证的自适应计算框架 Conformal Adaptation
研究人员提出了具备风险保证的 Conformal Adaptation 框架，用于实现感知不确定性的稀疏自适应计算。该方法采用分层模型在低分辨率下进行预测，利用共形风险控制对信号进行认证，并仅对已认证区域进行高分辨率细化。在 3D 医学图像分割、2D 星系光通量预测和 1D 钙离子脉冲率预测等多项任务中，该方法在普通 CPU 等设备上实现了 2.5-72x 的实际运行时间加速。
arXiv cs.LGAI 评分3535 图神经网络在图数据库中直接进行训练与推理的研究探索
研究人员实现了直接在图数据库内进行图神经网络（GNN）训练与推理，可直接执行采样、特征检索甚至完整的前向传播。通过 Cypher 进行实时采样和检索并结合优化方案，训练过程在保持相同准确率的同时提速约 2.5x。在真实图数据上，数据库内推理相比将图冷加载至 RAM 提速超过 10x，且无需额外内存开销。
arXiv cs.LGAI 评分3636 通过保留注意力的 MLP 裁剪解锁推理大模型的结构化剪枝：LayerTrim
研究者提出免训练结构化剪枝方法 LayerTrim，通过识别冗余解码器层并选择性裁剪其 MLP 特征，在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示，该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上，LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。
Together AI Blog精选AI 评分8686 Together AI 上线 Meta Muse Spark Open 模型并开放 API
Together AI 作为首发合作伙伴正式上线 Meta 开源权重模型 Muse Spark Open，并开放 Serverless API 接入。该模型专为长流程智能体编码与计算机操作设计，支持 1M-token 上下文窗口以及文本、图像、音视频多模态输入。
推荐理由：Together AI 提供了该开源权重模型的首发 API 接入与计费标准，便于开发者快速集成具备百万上下文的长流程智能体能力。
AWS Machine Learning BlogAI 评分3535 Tamnoon 如何基于 Amazon Bedrock 构建 AI 云安全修复平台
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami，可在 90 天内将关键云风险暴露减少超 90% 且实现零生产故障。该平台采用 AWS 无服务器架构，由调查、安全评分、修复和代码生成 4 个专业 AI 智能体协同工作，自动将安全漏洞转化为生产安全的修复方案。通过单一 API 即可为不同任务匹配最优基础模型，兼顾复杂推理与高吞吐效率。
AWS Machine Learning BlogAI 评分4444 使用 Amazon Bedrock AgentCore 自动生成演示文稿
AWS 推出基于 Amazon Bedrock AgentCore 构建的 AI 智能体方案，可在 90 秒内自动将企业文档转换为 PowerPoint 演示文稿。
AWS Machine Learning BlogAI 评分3838 使用 Amazon SageMaker JumpStart 部署与评测模型
Amazon SageMaker JumpStart 提供了基于 SageMaker Python SDK v3 的模型部署与评测工作流，支持通过测试提示词评估延迟、预估输出字数和生成速率，并在测试完成后清理端点。平台还提供针对低成本或低延迟等优化的预配置部署选项，并支持从 Hugging Face 一键跳转至 SageMaker AI 部署。
AWS Machine Learning BlogAI 评分3030 通过托管授权管理 Amazon Bedrock 私有定价优惠
Amazon Bedrock 托管授权支持从中心账户订阅第三方 AI 模型，并将 AWS Marketplace 私有定价优惠（MPPO）分发至多个 AWS 账户。
GitHub Blog · AI & ML精选AI 评分6464 GitHub 解析用于密钥检测的专用模型与两阶段扫描架构
GitHub 推出并解析了用于密钥检测的两阶段扫描新架构，通过结合高召回正则过滤与微调的 ModernBERT 紧凑分类器降低误报。相比此前基于远程 LLM 的方案，新架构将扫描执行时间中位数缩短 86%，服务成本降低超 98%，仓库所有者加权采纳率提升 11.5%。模型以 8 位量化 ONNX 格式部署，毫秒级响应能力使其成功扩展到了代码提交推送前的实时拦截保护。
推荐理由：文章展示了用轻量编码器模型替代通用大模型处理垂直分类任务的工程方案，在大幅降本的同时满足了低延迟推送拦截需求。
AWS Machine Learning BlogAI 评分3939 Amazon SageMaker AI 上的混合专家模型 Kernel 工程优化
AWS 针对 NVIDIA Hopper 架构优化了 Amazon SageMaker AI 上的 Fused MoE Kernel 实现。
AWS Machine Learning BlogAI 评分5050 Orca Security 基于 Amazon Bedrock 构建自然语言安全查询系统 Discovery AI
Orca Security 联合 AWS 基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI，可将用户的自然语言问题自动转换为 Sonar 图谱查询。
Apple ML ResearchAI 评分4242 Minions：基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云
针对集中式 GPU 基础设施成本高与资源受限等问题，研究人员提出了 Minions，一个聚合 macOS 设备闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云。该系统旨在执行大规模机器学习推理工作负载，无需额外采购 GPU 硬件。它具备灵活的 GPU 推理任务执行能力、容错机制以及高效的资源利用率。
AWS Machine Learning BlogAI 评分5050 在泰国、马来西亚、新加坡、印度尼西亚和中国台湾通过 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT 模型
Amazon Bedrock 在新加坡、雅加达、马来西亚、泰国和中国台北等 5 个 AWS 区域提供 OpenAI GPT-6 Sol 与 GPT-6 Luna 的全球跨区域推理，并在新加坡区域提供 GPT-6 Astra。
AWS Machine Learning BlogAI 评分4242 使用 Ray LLM 深度学习容器运行多节点大语言模型推理工作负载
AWS 推出面向多节点部署的 Ray LLM Deep Learning Containers（DLC），支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型，实现 Prefill 与 Decode 阶段分离的多节点解耦推理。
AWS Machine Learning BlogAI 评分5050 在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型
AWS 介绍了在 Amazon SageMaker AI 上使用专用 llama.cpp 深度学习容器（DLC）部署量化决策模型的方法，支持 CPU 与 GPU 架构。
NVIDIA Blog精选AI 评分6767 NVIDIA 在 OCP 峰会开放 Vera Rubin 架构设计并公布多项 AI 工厂标准
NVIDIA 在 OCP 全球峰会上宣布通过开放 MGX 架构将 Vera Rubin 机架及计算托盘设计贡献给 OCP，为下一代吉瓦级 AI 工厂提供统一的基础设施参考规范。
推荐理由：NVIDIA 将 Vera Rubin 架构与机架规范贡献给 OCP，降低了超大规模 AI 工厂在液冷、供电与网络层面的标准化部署门槛。
arXiv cs.LGAI 评分4343 在大规模推理与训练负载中部署 RDMA
字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中，ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%，并降低 10.69% 的总 CPU 使用率。在训练场景下，其将 P99 模型参数推送延迟最多降低 74.0%，且运行时未出现 PFC 暂停。
arXiv cs.LGAI 评分4040 Kronecker Product Attention：基于结构化分解的高效 KV 缓存压缩
研究团队提出 Kronecker Product Attention（KPA），将 KV 激活值表示为紧凑矩阵因子的克罗内克积之和，实现最高 10x 的 KV cache 压缩。该方法严格泛化了 TPA，并通过匹配的结构化旋转嵌入消除了类似 MLA 的解耦 RoPE 分支。在相同训练条件下，KPA 在 4 个模型规模和 9 个下游基准上性能达到或超过 MHA、MQA、GQA 与 MLA。
arXiv cs.LGAI 评分3939 STAPLE：通过嵌入模块对预训练检查点进行静态稀疏升级
研究人员提出 STAPLE，通过残差路径引入静态稀疏嵌入模块来升级预训练模型，在保留原有计算的同时高效扩展参数。在 OLMo-2 1B 上，STAPLE 相比稠密微调在 HumanEval 和 GSM8K 分别提升 4.27 与 2.27 分，并在 OLMo-2 7B 上保持增益。
arXiv cs.LGAI 评分4040 CacheScope：面向免训练扩散模型加速的精确计算分配
研究人员提出免训练扩散模型加速方法 CacheScope，通过在线识别高风险特征复用步骤并回退至完整计算，实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络，利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上，其中位数 LPIPS 较最强探针基线降低最高达 70.1%。
arXiv cs.LGAI 评分3535 用于机器学习应用的代数整数重整化（AIQ）
研究者提出了代数整数格式（AINF）并推出用于大语言模型推理的有损压缩格式代数整数量化（AIQ）。AINF 可直接简化为纯整数运算，实现无误差乘加操作，并支持根据具体用例定制数值特征。实验表明，基于二次代数整数的 AIQ 在相同每参数比特预算下，在多个模型与基准测试中均取得了与行业标准 MX 格式相当的精度。
arXiv stat.MLAI 评分3434 基于分组二次核的离群感知注意力线性化方法 OAL
研究人员提出离群感知注意力线性化方法（OAL），通过将贡献尺度相近的维度分组共享系数并单独处理少数离群维度，构建对序列长度具备线性复杂度的正二次核近似。在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%。
arXiv cs.AIAI 评分3434 算子不匹配问题：利用便携式 GPU 计算部署 BEV 感知
BEVPIPE 框架提出了一种利用便携式 GPU 计算 API 部署多模态 BEV 感知流水线的方法，解决了标准推理运行时与稀疏 3D 卷积等算子不匹配的部署难题。