RetryRoute：面向智能体图像编辑服务的重试感知模型路由
研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute，针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率，统筹规划重试、模型升级与放弃，并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点，在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。
#部署/工程
#部署/工程
今日 0 条arXiv cs.LGAI 评分4343 arXiv cs.LGAI 评分4040 SparseGDN：线性注意力中的分块稀疏机制
研究团队推出硬件感知框架 SparseGDN，通过结构化块内近似与动态循环事件选择加速线性注意力模型的长上下文 prefill。在 Qwen3.5-4B 和 Qwen3.5-9B 跨 4K 至 128K 上下文的 RULER 评测中，该方法平均仅保留约 29% 的循环事件。
arXiv cs.LGAI 评分3232 CAMEL：用于超轻量级视网膜基础模型的跨架构掩码嵌入学习
研究人员提出跨架构知识蒸馏框架 CAMEL，利用嵌入学习中的非对称掩码策略，将 RETFound 等大型视网膜基础模型的知识迁移至轻量级学生模型。在 4 个数据集上的实验表明，该方法在大幅降低计算复杂度的同时保留了诊断准确率，适用于硬件受限的临床环境部署。
arXiv cs.AIAI 评分3434 GAAC：面向个人设备高效带宽 LLM 推理的无损 KV 缓存压缩
GAAC 提出一种无损 KV 缓存压缩系统，利用指数冗余在逐位保真下在 5 个模型上实现 1.405-1.407× 的 BF16 压缩。该方案在 64k token 上下文下将 NVIDIA DGX Spark 解码 attention 加速 1.19-1.27×，端到端 W4A16 解码加速 1.04-1.15×，并削减约 26% 常驻 KV 内存。
arXiv cs.AIAI 评分3939 GAUSS：面向 LLM 推理服务的负载感知解析与蒙特卡洛模拟器
研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS，可预测特定工作负载、引擎和加速器下的首 token 延迟（TTFT）与 token 间延迟（TBT）完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型，通过集成蒙特卡洛采样替代单 trace 回放，能有效捕捉尾部延迟并评估未部署的硬件与调度策略。
arXiv cs.AIAI 评分3535 LRMoE：面向显存受限节点的高效 MoE 训练需求端负载重校准
LRMoE 是一种显存感知的 MoE 训练系统，通过在前向规划保留配额并在反向传播时重校准负载需求，解决显存受限节点的计算与通信瓶颈。系统通过容量感知路由与物理压缩减小通信载荷，有效降低反向通信、计算量和缓冲区显存开销。
arXiv cs.LGAI 评分4444 多智能体 Kernel 优化循环适配新型 AI 加速器案例研究
研究人员构建了一种多智能体优化循环，并在 FuriosaAI RNGD NPU 上历时 12 天优化了 Gemma-4-12B 的三个解码算子。该循环通过自主建立 Rust DSL 文档知识、运行微基准测试与编译器合法性检查，结合设计树搜索探索算子实现。最终内核相比官方 baseline 取得 9.293x 几何平均加速比，相关提示词与测试工具均已开源。
arXiv cs.LGAI 评分3333 COPE：面向 MoE 卸载策略的可组合性能仿真器
COPE 是一种面向 MoE 卸载策略的仿真器，可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件，通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线，COPE 将最快策略选择准确率提升 24%-100%，性能预测误差降低 1.7x 至 6.8x，策略实现工作量减少最多 74%。
arXiv cs.LGAI 评分3939 Packed-SS：基于扩散草稿的单调用自推测解码机制
Packed-SS 提出了一种自推测解码调度机制，通过让扩散起草器提前一步运行，在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别，且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明，Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。
arXiv cs.LGAI 评分4242 All-in-One：针对 LLM 转换的可组合攻击
All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换，当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动，在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明，该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。
arXiv cs.LGAI 评分3636 Pinterest 自动出价系统中基于强化学习的控制器参数优化
Pinterest 部署了名为 RLBP 的混合架构，将强化学习作为元控制器每日动态调节 PID 参数，同时保留 PID 负责高频出价。该系统基于多头 Q 网络和推理时融合动态权衡成本与预算交付，无需重新训练。在线 A/B 测试与上线后两个月的对照监测显示，RLBP 在收入不降的前提下显著降低了有效每次点击费用（eCPC）。
arXiv cs.LGAI 评分3636 基于查询-视觉交互分解的视觉 Token 剪枝
研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD，利用 Transformer 注意力中查询-视觉交互矩阵的低秩特性捕捉相关语义。图像与视频理解评测基准实验显示，QViD 在匹配的 token 预算下持续提升性能，且在激进压缩场景下收益最为显著。
arXiv cs.AI精选AI 评分6969 UC 伯克利团队提出 Evolving Agent Teams：通过动态重组突破 GPU 内核优化局部最优
研究人员提出多智能体框架 Evolving Agent Teams，通过中央监督者诊断局部最优并动态重组智能体团队，结合持久化文件系统积累的演化经验突破复杂工程瓶颈。
推荐理由：论文针对编程智能体容易陷入局部最优的痛点，提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。
arXiv cs.AIAI 评分3535 在智能体 Kernel 生成中实现批次不变性
针对 LLM 服务中 GPU kernel 缺乏批次不变性（BI）影响复现性的问题，研究人员提出一种面向智能体 kernel 生成的 BI 强化插件。该工具结合静态依赖分析与动态逐位一致性验证，作为优化循环的准入门控拦截风险候选。跨 3 个智能体框架的实验表明，BI 通过率从 67.6% 提升至 91.9%，并保留了基线 91.8% 的几何平均加速比。
arXiv cs.AIAI 评分3535 低预算 LoRA：面向适配器集群的功能感知事后压缩
研究提出功能秩分配方法 FRA，用于在共享资源预算下对 LoRA 适配器集群进行功能感知的事后压缩。该方法通过端到端测量独立模块截断并结合动态规划构建秩-失真边界，再执行集群级 minimax 秩预算分配。在 3 个公开集群共 78 个适配器的测试中，FRA 在受限预算下相比均匀谱压缩提升了最差情况与尾部效用。
arXiv cs.AIAI 评分3535 WAKMan：工作负载感知的 KV cache 管理器
研究人员提出工作负载感知的 KV cache 管理器 WAKMan，无需获知请求类型或读取提示词，即可自适应选择淘汰策略，将缓存命中率较 LRU 平均提升 5 个百分点。针对 20 种混合流量下单一策略无法通用的问题，它有效兼顾了偏好时间局部性的智能体步骤与偏好频率的长对话，在所有策略中取得了最低的平均与最坏情况最优性差距。
arXiv cs.AIAI 评分4747 通过细粒度监控揭示 GPU 集群的优化空间
研究团队基于 Nvidia DCGM 开发出 100 ms 采样间隔的细粒度监控工具，对拥有 89 节点、319 块 GPU 的集群展开实测。对 7,399 个任务的分析显示，超 70% 任务 GPU 显存占用低于 20%，50% 任务平均 SM 利用率不足 5%，且 80% 任务申请与实际时长严重不符。结果表明可通过优化调度和 GPU 多任务大幅提升利用率，该监控工具已开源。
arXiv stat.MLAI 评分5353 研究提出大语言模型中转 API 审计方法 DFA：低成本检测模型偷换与掺水
研究人员提出分布指纹审计（DFA）统计方法，仅需文本响应即可在黑盒环境下低成本检验大语言模型中转 API 是否真实提供了用户请求的模型。该方法通过重复查询简单有限选择探针构建端点指纹，并利用柯西组合检验聚合证据输出统计 p 值；在涵盖 10 个模型家族共 16 款模型的测试中，仅需 5 个探针和 250 次中转请求即可实现高检出率。
arXiv cs.AIAI 评分4444 RAQ-MLA：面向多头潜在注意力（MLA）Cache 的角色感知量化
研究者提出免训练的角色感知量化方法 RAQ-MLA，专为大模型的多头潜在注意力（MLA）Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换，将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下，其理论 KV cache 容量提升 6.5x，并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
arXiv cs.AIAI 评分3434 分布偏移下的反事实模型测试
针对部署机器学习模型在分布偏移且缺乏标签时的性能衰退，研究者提出了一种反事实模型测试方法。该方法在受控基线数据上分别复现总体变化与特征管道数据完整性问题两种机制，用于评估模型当前性能及修复数据问题的潜在收益。真实数据集与流失预测案例实验表明，区分这两种来源可提升评估精度，有效支持监控和修复优先级决策。
arXiv cs.LGAI 评分3939 BiLoCo：面向训练后量化的二值低秩校正方法
BiLoCo 是一种面向大模型 FP4 训练后量化（PTQ）的二值低秩校正方法，将校正因子存为二值符号向量，单秩分量存储减少 16 倍，且可在 CUDA Core 上与 Tensor Core FP4 GEMM 并发运行。
arXiv cs.LGAI 评分3939 GS-MoE：基于分组子空间共享与剪枝的免训练 MoE 压缩
研究人员提出免训练 MoE 压缩框架 GS-MoE，通过分组共享低秩子空间与基于 Nyström 的神经元剪枝压缩专家参数。在 DeepSeek-MoE-16B-Base 上减少 60% 模型总参数时，GS-MoE 保留了约 90% 的平均推理性能（D^2-MoE 为 73%），且域外困惑度低 20%。该框架还采用无梯度的层重要性评分进行分层预算分配，相关代码已开源。
arXiv cs.LGAI 评分3737 TWIG：每个权重都是一条共享离散决策路径
研究者提出神经网络权重表示方法 TWIG，将权重转化为继承门控的共享离散决策路径，从而将剪枝、量化与低秩分解统一为单一优化。当决策采用 2 的幂次时，网络权重层可转为几乎仅由连线与加法器构成的硬件电路。在 LLM 矩阵的 3- 和 4-bit 测试中，TWIG 在同等误差下比 GPTQ 减少 9–15% 的加法操作，含强异常值的矩阵减少 20–55%。
arXiv cs.LGAI 评分3434 延迟解码与单次乘法：重新审视量化权重的点积计算
针对 1-4 bit 权重部署，研究者提出延迟解码点积重构方案，使长度为 n、k-bit 权重的点积仅需 n+2^k 次加法与至多 2^k 次解码和乘法。该方案将权重编码直接用作地址累加激活值并在末尾统一解码乘算，使乘法器数量减少 n/2^k 倍，局部权重内存缩减最高达 w_d/k。基于此设计的 SA-PE 处理单元已在 FPGA 综合中验证了硬件收益与计算等价性。
arXiv cs.LGAI 评分3737 大模型结构化稀疏学习：兼顾模型可压缩性与高效推理
研究人员提出 S-SALAAD 框架，在训练中联合学习低秩与结构化稀疏组件，使单个 checkpoint 能弹性适配多种内存预算。该框架支持硬件兼容稀疏模式并配备专用 CPU 与 GPU 内核，消除传统稀疏的索引与内存开销。在 Llama2 和 Qwen3 上的实验表明，其在困惑度、内存占用和推理延迟上均推进了经验 Pareto 前沿。
arXiv cs.LGAI 评分3434 投机扩散的双重权衡
研究提出通过联合调整扩散工作量与投机解码宽容度，探索投机扩散（Speculative Diffusion）的速度与质量帕累托前沿。扩散大语言模型（dLLMs）能通过并行生成 token 作为草稿模型加速推理，投机解码本身也能放宽验证器的接受标准来实现有损快速采样。实验表明，联合调节这两项参数相比单步扩散草稿能有效扩展速度-质量帕累托前沿。
arXiv cs.LGAI 评分3535 通过按查询模态选择实现高效全模态大语言模型推理
研究提出面向全模态大语言模型（Omni-LLM）的逐查询模态选择方法，在保持模型固定的前提下自适应选取输入模态，以优化准确率与推理成本的权衡。在 WorldSense 基准上评估 Qwen2.5-Omni 与 Qwen3-Omni 发现，该方法表现均优于全模态输入基线。
arXiv cs.AIAI 评分3939 MPQ：后训练量化的消息传递视角
研究团队提出消息传递量化（MPQ），将大模型后训练量化建模为离散码本后验推断，在推断中保留跨块软后验信息。MPQ 先利用向量近似消息传递计算近似分块后验，再通过精确分块坐标下降精炼硬决策。在 Llama、Qwen 与 Mistral 的 2-bit 格子量化及 3-bit、4-bit 标量量化测试中，MPQ 改善了困惑度与 zero-shot 准确率，代码已开源。
arXiv cs.AIAI 评分4242 HyScale：面向可学习稀疏注意力的长上下文训练系统
HyScale 是一套面向可学习稀疏注意力的长上下文训练系统，通过 HyTopK 免分数表检索与选择复用（selection replay）机制消除训练瓶颈。在 512 张 H20 GPU 上，该系统将 GLM-5.1 在 1M token 序列上的训练速度较 Megatron-LM 提升 2.07x。
arXiv cs.AIAI 评分3535 以可复现评估为基础的生产级智能体安全提示词压缩
研究人员针对动态数据的生产级对话智能体提出离线评估框架，既能抵御实时数据变动又可按需重建，并用作基于 GEPA 的提示词优化适应度函数。配合正确性门控防止奖励作弊，该方案在商家端生产智能体上将提示词压缩 3.5-7.6%。测试显示，压缩在 3 个独立模型族上均未降低任务正确性，还让其中一个模型的正确性获得可测提升。
arXiv cs.AIAI 评分4242 重试许可：AI 智能体工作流中的授权与恢复研究
该研究针对使用工具的 AI 智能体在执行期的可靠性，将恢复决策与语言模型行为解耦，评估了工作流中的授权与恢复机制。在 LangGraph 和 Temporal 主机上执行的 336 项历史测试中，保留账本对账策略在两平台上均通过全部 42 项测试。重试前重新验证、稳定键重试和缓存重试策略则分别通过 36、31 和 30 项测试。
arXiv cs.AIAI 评分3434 GRAM：基于子空间对齐的分组低秩感知模型合并方法
针对多任务模型合并中的子空间干扰问题，研究者提出分组低秩感知模型合并方法 GRAM。该方法仅依赖微调权重，利用任务向量的主角几何特性将相容任务分组，并在组内执行基于 SVD 的合并。在仅增加一个模型（K=2）的设定下，GRAM 在 Flan-T5、8 任务 CLIP 及 Qwen2-7B-Instruct 医疗指令微调任务中均优于先前合并方法。
arXiv cs.LGAI 评分3636 Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命
Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出，旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息，优先将 full-attention 的 KV cache 写入 SSD，在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微，并可扩展至高带宽闪存（HBF）。
arXiv cs.LGAI 评分3333 用于视觉任务的脉冲感知梯度混合精度脉冲神经网络量化方法
研究人员提出了一种面向脉冲神经网络（SNN）的脉冲感知基于梯度的混合精度量化框架，利用一阶梯度自适应分配位宽，无需昂贵的高阶 Hessian 计算。在 ImageNet 上的 ResNet-34 评测中，该方法在 4.78x 压缩下达到 73.30% 准确率，效果匹敌 HAWQ-V2 的同时将内存开销降低 2.31x，位分配运行时间缩短 100x。
arXiv cs.LGAI 评分3232 异构边缘平台模型压缩技术评测：以旋转机械预测性维护为例
一项针对工业旋转机械预测性维护的研究评测了 9 类异构计算平台上的 4 种模型压缩技术，结果显示知识蒸馏表现最有效。经知识蒸馏压缩的卷积神经网络模型体积缩减 98.9%，在所有设备上实现超过 90% 的推理加速，同时保持了 91.22% 的平衡 F-score，显著降低了计算与能源开销。
arXiv cs.LGAI 评分2424 用于嵌入式系统植物病害识别的轻量级群注意力网络 GANet
研究人员提出了轻量级群等变注意力网络 GANet，专用于 38 种植物病害的预测与监测。该模型引入了群注意力模块与逐群特征融合模块，仅包含 0.001M 参数，在 PlantVillage 数据集上取得了 99.99% 的准确率。GANet 针对边缘设备进行了部署优化，在 Raspberry Pi 4b 和 Jetson Nano 上分别达到 5 FPS 和 11 FPS。
arXiv cs.LGAI 评分4040 MoEZip：面向稀疏 MoE 大语言模型的路由感知 KV Cache 压缩
MoEZip 是一种面向稀疏 MoE 大模型的路由感知 KV cache 压缩方法，解决了 KV 淘汰改变专家路由并损害生成质量的问题。该方法基于路由分布的 Fisher 信息矩阵评估敏感度，并结合注意力权重对上下文评分。在 10% 的 KV 保留率下，MoEZip 在 LongBench 和 RULER 上较 SOTA 基准平均提升 +24 和 +20 分，分别达到 2.3x 和 4.9x。
arXiv cs.LGAI 评分4040 FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体强化学习的系统优化研究
研究者针对 Qwen3.8-Flash-Next 推出强化学习优化框架 FlashNext-RL，在单台 8xB200 节点上实现了 48 层完整模型的 BF16 训练。
arXiv cs.LGAI 评分3434 将 Transformer 视为通用深度神经网络：精确编译、移除激活乘积的代价与多智能体注意力聚类
Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络，摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类，每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致，并可直接应用标准训练后量化。
arXiv cs.LGAI 评分4545 2:4 稀疏度还值得用吗？LLM 推理中半结构化稀疏与量化的对比研究
研究表明在 LLM 推理中只要更低精度可用，降精度优于引入 2:4 稀疏度，后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时，2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速；在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行，Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。