TRACE：面向高效通信分布式边缘推理的 Transformer 残差激活码本编码
研究人员提出 Trace 框架，通过在 Transformer 残差层引入矢量量化并预计算键值表，使边缘设备交换激活索引后可直接查表恢复 KV 矩阵并重叠通信与计算。
#部署/工程
#部署/工程
今日 4 条arXiv cs.LGAI 评分3434 Together AI Blog精选AI 评分6464 Together AI 推出 Together Post-Training 定制模型后训练服务
Together AI 推出新服务 Together Post-Training，支持开发者通过强化学习（RL）和监督微调（SFT）构建定制大语言模型。
推荐理由：原文给出了降低大模型后训练与强化学习门槛的系统架构与资源共享机制，便于团队评估自建专用模型的算力成本与落地路径。
科学网AI 评分5555 中科曙光发布曙光8000十万卡AI超集群十大科研应用成果
中科曙光在第二十二届CCF全国高性能计算学术大会上展出全国产十万卡AI超集群曙光8000，并发布其支撑的十大前沿科研应用成果。该集群采用CPU与GPU异构计算架构，支持全精度计算与大规模并行协同，应用覆盖万亿原子分子动力学模拟、千亿神经元数字孪生脑、高精度火箭尾焰仿真及全球高分辨率气象预报等任务。目前集群上有超过40%的应用需要超智融合，并通过OneScience一体化平台降低科研智能体开发门槛。
AWS Machine Learning Blog精选AI 评分6262 基于 Amazon Bedrock AgentCore 构建面向生产环境的 AI Agent 评估框架
AWS 团队基于 Amazon Bedrock AgentCore 提出了覆盖全生命周期的九阶段 AI Agent 评估框架，用于解决多智能体系统在企业生产环境中静默失效与指标幻觉等质量问题。
推荐理由：原文详细拆解了企业级多智能体从开发门禁到生产监控的九阶段质检落地路径，为复杂 Agent 系统的工程质量保障提供了可参考的架构范式。
IEEE SpectrumAI 评分2222 仿真应用加速电动卡车电池设计
丹麦工程咨询公司 Resolvent 基于 COMSOL Multiphysics 开发了一款定制仿真应用，用于加速沃尔沃等机构的电动卡车电池寿命与激光焊接设计优化。该工具利用电池电化学模型数据训练深度神经网络（DNN）以降阶建模，覆盖从电芯到电池包的多尺度仿真。用户可自定义电池包几何尺寸、电芯数量及工况，评估母线焊缝性能并优化冷却与衰减表现。
AWS Machine Learning Blog精选AI 评分7171 Reflection AI 发布开源权重智能体编码模型 Beam 并提供 AWS 部署方案
Reflection AI 推出用于智能体编码的开源权重模型 Beam，具备 501B 总参数和 23B 激活参数，支持 100 万 token 上下文。该稀疏 MoE 模型权重在 Hugging Face 基于 Apache 2.0 协议开源，提供 BF16、FP8 和 NVFP4 版本。
推荐理由：原文给出了超大参数 MoE 编码模型的规格细节与分层部署路径，便于开发者评估大模型落地成本。
量子位AI 评分6363 亚马逊CTO Werner Vogels：别让恐惧替企业做AI决策，应聚焦业务需求与工程边界
亚马逊 CTO Werner Vogels 表示，企业不应因焦虑盲目跟风引入 AI，而需先想清楚实际业务需求与技术匹配度。他结合 DynamoDB 和 Nitro 等工程经验指出，不必盲目追逐大模型榜单，较小模型和开放权重模型往往更具成本效益。针对 Agent 落地与 AI 编码，他强调系统必须设立明确的权限边界由人负责，且团队需警惕代码生成带来的验证债。
量子位AI 评分5656 范式智能联合睿思智联开源一站式生产级 AI 部署平台“模域ModelSphere”
范式智能联合睿思智联宣布一站式生产级 AI 部署平台“模域ModelSphere”正式上线，并在 GitHub 基于 Apache 2.0 协议免费开源。该平台将算力管理、模型部署和运行优化整合为统一平台，支持混合调度华为昇腾、天数智芯等多款国产芯片，并已适配 DeepSeek-V4/V4-Flash、Qwen 等主流模型。
科学网AI 评分4444 已出货80万颗芯片！众星微宣告“站到台前”
众星微在全栈产品发布会上推出12款量产高性能互连芯片，覆盖通用计算与智能计算方向，芯片累计出货量已突破80万颗，预计今年底达100万颗。其产品已适配15大主流算力芯片与7大主流CPU平台，并在全国产十万卡级算力集群中部署约20万颗。面向下一代架构，众星微正持续推进PCIe 6.0 Switch及多协议800G网卡等产品研发。
PhoronixAI 评分3535 Intel 发布 LLM-Scaler-vLLM PV 1.5
Intel 软件工程师发布了容器化 Docker 软件栈 LLM-Scaler-vLLM PV 1.5 最新版本。该方案源自 Project Battlematrix 计划，旨在为 Intel Arc 显卡硬件提供便捷的 AI 与大语言模型运行体验。
arXiv cs.AIAI 评分4141 Diviner：Meta 推出面向大规模基础设施的智能体根因分析系统
Meta 运行了一款面向大规模基础设施根因分析（RCA）的智能体系统 Diviner，旨在解决通用语言模型智能体在排障时上下文过时、误读查询及缺乏依据等问题。该系统基于四阶段可靠性生命周期构建，涵盖 Encode（整合历史事件与技能图谱）、Execute（由自适应 Lead 与上下文隔离的 worker 协同排查）、Evaluate 及 Adapt（经重放与负责人审批后迭代运维知识）。
arXiv cs.AIAI 评分3333 面向 HPC 作业调度的深度强化学习统计评估
针对 HPC 作业调度，研究人员在真实 Slurm 工作负载轨迹下，对带与不带动作掩码的 PPO、A2C 和 DQN 等深度强化学习方案进行了统计评估。评测发现所有未掩码方案均被截断，且在同构负载下掩码 DRL 并未显著优于掩码随机对照组。但在异构负载中，MaskablePPO 较对照组全面提升，最大有界减速比 LCFS 低 22%，并取得了最低的平均训练时间。
arXiv stat.MLAI 评分3535 控制回路中的神经网络训练与部署：离线学习引发的分布偏移及在线自适应机制
离线训练的神经网络部署于闭环控制系统时会改变状态分布并引发轨迹发散。研究提出了统一分类法，将该过程的形式化失效模式分为闭环辨识误差、动作误差与持续跟踪误差，并通过离散时间敏感性分析证明离线参数必然因局部损失几何特性导致性能下降。为此提出的时间尺度分离在线自适应策略在非线性达芬振子（Duffing oscillator）消融实验中得到验证，成功通过有界持续学习抑制了轨迹发散。
科学网AI 评分4141 首个兼顾智能与高频吞吐的物理AI推理系统 PhysisServe 发布
逆矩阵联合北京智源人工智能研究院、vLLM及北京大学发布物理AI推理系统 PhysisServe，首次实现百亿参数世界模型以每秒千赫兹的实时频率输出。该系统推理速度比已有前沿方案快了一到两个数量级，兼顾了模型规模与实时输出频率。该突破表明物理智能基模扩展兼具可行性，将赋能具身智能、工业仿真与科学预测等场景。
arXiv cs.LGAI 评分4040 如何训练小模型构建与优化 GPU 编译脚本
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法，使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本，模型在监督微调与带延迟奖励的强化学习后，构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
arXiv cs.LGAI 评分4444 长上下文投机采样无需长上下文草稿模型
研究表明投机采样在超长上下文中无需训练长上下文草稿模型，冻结现有的短上下文草稿模型即可运行至 200 万 token。该方法通过在推理时限制草稿模型的注意力缓存并重置旋转位置编码索引，无需改动模型权重。测试涵盖 3 组目标与草稿模型对及 5 个语料库，单一 vLLM 配置即可跨越 4k 至 200 万 token 且保持短上下文下的加速比。
arXiv cs.LGAI 评分3131 任务阶段条件下的专家路由不能作为 MoE FFN 张量量化敏感度的可靠代理指标
研究发现基于任务阶段的 MoE 专家路由统计量无法有效指导 FFN 张量的分层混合精度量化。研究团队针对 Qwen-3.6-35B-A3B 构建了路由分析流程并计算综合敏感度分数，但在约 4.0 bpw 和约 2.7 bpw 等预算实验中，路由指导的重分配均未能超越均匀量化基线。实验表明路由行为统计量并非层级真实量化代价的有效代理指标，激进预算下还会引发显著的结构性损失。
arXiv cs.LGAI 评分4747 扩散语言模型的策略内残差学习框架 ORL
研究者提出扩散语言模型策略内残差学习框架 ORL，通过在去噪轨迹中即时学习并引入熵收缩目标，结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上，ORL 使每次前向传播生成 token 数提升高达 6.2x，配合 dlmrt 引擎端到端吞吐提升约 6.9x。
arXiv cs.LGAI 评分3737 RoLaQ：针对多头潜在注意力中 2-Bit KV Cache 的联合旋转与范围校准
研究人员提出离线校准方法 RoLaQ，通过联合旋转与范围校准优化多头潜在注意力（MLA）架构下的 2-bit KV cache 压缩。在 3 个 MLA 模型和 6 项评测基准上，RoLaQ 在对比的 2-bit 方法中均取得了最高平均精度。
arXiv cs.LGAI 评分3434 扩展注意力：通过泰勒级数实现固定循环状态数的线性时间 Transformer
研究提出将注意力机制的指数核展开为截断泰勒级数，将其因式分解并压缩为固定 $n$ 个循环状态，实现了独立于上下文长度 $N$ 的线性时间 Transformer。
量子位AI 评分2828 交大安泰MBA启动AI时代商科人才培养改革
交大安泰MBA发布“智能时代五链人才”培养体系并启动“百业千企10×100 AI场景共创计划”，规划未来十年联合企业落地1000项专属AI实景课题。该体系重点培育AI4O、FDE与OPC三类实战能力，并与Datawhale合作启动FDE人才专精培育计划。面向2027级，学制统一调整为2年，实践课程占比不低于总课时的四分之一。
arXiv cs.AIAI 评分3434 企业软件集成智能体 AI 的参考架构：职责、交互与可变性
研究人员提出了一种用于将智能体 AI 集成至企业软件的技术中立参考架构，将各类架构能力归纳为 10 项核心职责，并定义了边界不变式、跨职责交互与变异点。该架构在现存面向服务的 ESG 组合分析与交易前合规系统中落地验证，实现了其中 7 项职责，并成功映射了一套独立发布的智能体架构。相关部署与记录结果已作为复现包提供。
arXiv cs.AIAI 评分4040 GateSight：利用循环记忆预测注意力记忆以实现混合大语言模型的 KV 驱逐
研究人员提出 GateSight 方法，利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号，无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
arXiv cs.AIAI 评分4141 SAGE：推动 2-bit 矢量量化大语言模型迈向实用
研究人员提出针对仅权重矢量量化的 SAGE 方法，通过能量分层分组保护敏感通道，并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下，SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现，在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
arXiv cs.AIAI 评分4545 在 LLM 上迭代，在 SLM 上服务
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑，再将真实线上行为通过 SFT 蒸馏到小语言模型（SLM）的部署方案。在护理排班场景中，基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性，表现比教师模型 GPT-5.4-nano 更稳定，盲测中以 48 比 29 获专业人员认可，并将中位数延迟降低约 2.5 倍且大幅降低成本。
arXiv cs.AIAI 评分5454 研究实测开源大语言模型跨基准、推理模式与硬件的推理能效
一项针对 86 个开源大语言模型检查点的实测研究显示，能力相近的模型推理能效差异显著，开启思考推理模式平均会增加约 3.7 倍能耗。测试覆盖 7 个基准测试与 6 种硬件平台，发现多数配置偏离能效 Pareto 前沿，能耗比同性能配置中位数高出 2.6 至 4.8 倍。此外，FP8 量化可在分数基本不变的情况下减少约四分之一能耗，而生成 token 数量并不能完全代表实际能耗。
arXiv cs.AIAI 评分4141 Echo：面向大语言模型训练与推理的误差补偿 4-Bit 张量并行通信
研究者提出面向大语言模型训练与推理的 4-bit all-reduce 方案 Echo，通过高精度求和与误差反馈消除累积量化误差，且无需 FP8 或 FP4 硬件。
Apple ML Research精选AI 评分7373 Mac Studio 结合 MLX 与 RDMA 实现大语言模型本地及分布式推理评测
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动，在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由：文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据，为端侧分布式推理部署提供了具体参考。
AWS Machine Learning BlogAI 评分4444 Meta 开源模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart
Meta 代码优化开放权重模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart，支持在 AWS 账户中直接部署。
Cloudflare Blog精选AI 评分7171 Cloudflare 与 VoidZero 开源全栈开发部署套件 Void
Cloudflare 与 VoidZero 正式开源全栈应用开发与部署套件 Void，包含部署平台 Void Platform、全栈 SDK 及命令行工具 CLI。
推荐理由：原文提供了基于 Vite 自动配置云资源与全栈部署的方案，有助于团队在保障安全的前提下规范编码智能体生成的内部应用。
Latent SpaceAI 评分3737 Modal ARR 达 10 亿美元并以 160 亿美元 D 轮融资成为纽约最新 AI 基建百亿独角兽
AI 基础设施平台 Modal 宣布 ARR 达到 10 亿美元，并以 160 亿美元估值完成 D 轮融资，用量与估值在 5 个月内增长 3 倍、1 年内增长 15 倍。其 Sandboxes 独立年化收入已达 3 亿美元，累计启动近 30 亿个沙箱且支持百万级并发。此外，Google 广泛上线了 Gemini 4 Argon 模型，SpaceXAI 亦推出 Grok Voice 3.0。
arXiv stat.MLAI 评分3434 超越专家排序：用于混合精度 MoE 量化的对比度校准框架 NatScale
研究人员提出混合精度 MoE 量化分配框架 NatScale，通过特定模型的幂变换将基于梯度的专家权重校准至对比度目标，同时保留排序。该方法联合评估每个专家的 gate、up 和 down 配置来估计输出误差，并在存储预算下优选精度配置。
arXiv stat.MLAI 评分3636 SpectrumQuant：基于谱对齐的 LLM 量化方法
研究人员提出面向 LLM 训练后量化的闭式正交旋转方法 SpectrumQuant，通过校准数据估计激活协方差以实现谱对齐。该方法将量化友好型旋转解构为对齐与混合组件，并涵盖了 Hadamard 矩阵与蝶形矩阵。在 Llama 和 Mistral 上的实验表明，其表现媲美 SOTA 策略，GPU 显存需求不足 SpinQuant 和 DartQuant 的 1/3 且耗时显著缩短。
arXiv stat.MLAI 评分3838 嵌入几何对 LLM 路由的影响：失效模式探究与泛化提升
新研究发现语义嵌入的邻近特征无法可靠指导未知任务的模型选择，导致 LLM 路由泛化受限。为此，研究团队提出运行 Qwen2.5-7B-Instruct 的部分前向传播，取其深层最后 token 的 hidden state 作为替代特征表征。配合 kNN 等简单分类器，该方案超越了所有语义嵌入基线，并在 RouterBench 上击败了近期基于 hidden states 的 SOTA 路由器。
arXiv stat.MLAI 评分3838 System 1 模型的校准与风险预算决策研究
研究针对缺乏人工兜底的 LLM 工作流与智能体二元决策场景，提出在不确定时采用保守策略并控制假阴性风险的框架。在涵盖审核、安全与重排序的 6 个数据集评测中，朴素阈值选择基准在约半数设定下超出了目标风险，而具备有限样本统计保证的 Learn Then Test（LTT）超标率仅为 7.8%。该结果表明仅依赖类概率接口不足以支撑部署决策。
arXiv cs.LGAI 评分3535 Spectral-MoE：Dense-to-MoE 转换中各层异构专家利用率优化
研究人员提出 Spectral-MoE，通过静态逐层标量和动态逐 token 调度两种方案，在 Dense-to-MoE 转换中跨网络层异构分配专家利用率预算。
arXiv cs.LGAI 评分3434 基于共形认证的自适应计算框架 Conformal Adaptation
研究人员提出了具备风险保证的 Conformal Adaptation 框架，用于实现感知不确定性的稀疏自适应计算。该方法采用分层模型在低分辨率下进行预测，利用共形风险控制对信号进行认证，并仅对已认证区域进行高分辨率细化。在 3D 医学图像分割、2D 星系光通量预测和 1D 钙离子脉冲率预测等多项任务中，该方法在普通 CPU 等设备上实现了 2.5-72x 的实际运行时间加速。
arXiv cs.LGAI 评分3535 图神经网络在图数据库中直接进行训练与推理的研究探索
研究人员实现了直接在图数据库内进行图神经网络（GNN）训练与推理，可直接执行采样、特征检索甚至完整的前向传播。通过 Cypher 进行实时采样和检索并结合优化方案，训练过程在保持相同准确率的同时提速约 2.5x。在真实图数据上，数据库内推理相比将图冷加载至 RAM 提速超过 10x，且无需额外内存开销。
arXiv cs.LGAI 评分3636 通过保留注意力的 MLP 裁剪解锁推理大模型的结构化剪枝：LayerTrim
研究者提出免训练结构化剪枝方法 LayerTrim，通过识别冗余解码器层并选择性裁剪其 MLP 特征，在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示，该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上，LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。
Together AI Blog精选AI 评分8686 Together AI 上线 Meta Muse Spark Open 模型并开放 API
Together AI 作为首发合作伙伴正式上线 Meta 开源权重模型 Muse Spark Open，并开放 Serverless API 接入。该模型专为长流程智能体编码与计算机操作设计，支持 1M-token 上下文窗口以及文本、图像、音视频多模态输入。
推荐理由：Together AI 提供了该开源权重模型的首发 API 接入与计费标准，便于开发者快速集成具备百万上下文的长流程智能体能力。