RaReCache：基于秩不一致选择性重计算弥补跨模型 KV Cache 复用差距
RaReCache 框架通过基于秩不一致的选择性重计算，支持大模型直接复用小模型预填充的 KV cache。在 Qwen3-0.6B 至 14B 上仅需重计算 30% 位置即可保留 95-99% 精度，在 Llama3-8B 至 70B 上重计算 40% 可保留 96.5% 精度。
#部署/工程
#部署/工程
今日 3 条arXiv cs.AIAI 评分3838 arXiv cs.AIAI 评分4343 TokenBank：面向 AI 服务的金融基础设施
TokenBank 是一种面向 AI 服务的金融基础设施，通过结构化合约支持服务消费权、API 差价远期结算、未来收入融资及特定故障赔偿。在 899,441 次 API 请求重放等评测中，远期合约在零贴现涨价场景下使平均支出减少 USD 304.88，并在低资金条件下带来 +1.0635 实验 USD 的贡献改善。目前其云基础设施代码库与托管部署已公开。
AWS Machine Learning Blog精选AI 评分6666 Postman 如何基于 Amazon Bedrock 为 4000 万开发者运行 Agent Mode
Postman 与 AWS 联合拆解了 Agent Mode 接入成熟软件的生产架构，核心解决工具膨胀与上下文治理瓶颈。系统通过向量检索将 170 多个工具动态精简至约 15 个，并采用专用上下文处理器替代渲染层数据，同时解耦了界面状态与工具操作。底层基于 Amazon Bedrock 调用 Claude 模型，配合跨区域推理与多层 Prompt 缓存应对流量突发并降低成本。
推荐理由：原文结合生产实测指出了工具膨胀门槛与上下文瓶颈，展示了成熟软件接入智能体时的工程化落地方案。
AWS Machine Learning BlogAI 评分4040 AWS 汇总 2026 年 9 月 AI 构建者更新
AWS 汇总了 9 月在 Amazon Bedrock、AgentCore 及 Strands 的重要更新，包括公测支持 OpenAI 模型的托管智能体及上线多款前沿模型。
arXiv cs.LGAI 评分2626 基于强化学习与博弈论的资源受限车联网自适应多判别器 WGAN 框架
研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架，以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练，动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中，其取得最低的 1.029 RMSE 与 0.894 MAE，平均 CPU 利用率降低约 28%，内存使用量减少约 6%。
arXiv cs.LGAI 评分3636 面向大语言模型的摊销离线策略评估
研究人员提出 PFN-OPE，通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次，测试时无需逐任务重新拟合，经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中，其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。
arXiv cs.LGAI 评分3636 冻结解码器并修复编码器：基于 SVD 的 KV cache 压缩参数高效适配
针对基于 SVD 的 KV cache 压缩微调，研究指出采用冻结解码器、仅修复编码器的方案，在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量，并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证，同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。
arXiv stat.MLAI 评分3737 当更低重构损失损害性能：低比特大语言模型量化的分布鲁棒优化
针对训练后量化中更低重构损失反而可能损害模型性能的问题，研究者提出事后优化框架 DRQ（Distributionally Robust Quantization）。
AWS Machine Learning BlogAI 评分3737 利用 Amazon SageMaker HyperPod 实现跨团队 GPU 集群隔离与公平共享
AWS 推出基于 Amazon SageMaker HyperPod 与 EKS 的多租户参考架构，支持多团队在严格隔离与资源公平下共享 GPU 集群。方案采用 AWS IAM Identity Center 集中认证，结合 Kubernetes 命名空间隔离工作负载，并由 HyperPod Task Governance 管理算力配额。
arXiv cs.LGAI 评分3535 CurveTQ：基于曲率加权搜索的大语言模型权重无旋转网格量化
CurveTQ 是一种无需旋转变换的大语言模型权重网格量化方法，通过将 Hessian 矩阵权重引入 Viterbi 搜索直接按曲率优化。在 2-bit 设置下，其在三款 4-8B Instruct 模型上的平均下游准确率比 QTIP 和 Proteus 高 1-3 个点，并在 35B MoE 模型上保持领先。因解码时无需撤销旋转，其速度在所有测试批次大小和位宽下均为三者中最快。
arXiv cs.LGAI 评分3434 Q-PACE：用于量化感知训练的动态精度分配方法
研究人员提出面向量化感知训练（QAT）的动态精度分配方法 Q-PACE，利用二阶敏感度模型预测量化损失并定期重新分配各层精度。在参数规模最高达 4B 的大语言模型预训练与监督微调实验中，该方法优于现有混合精度训练方案，能在显著降低总内存预算的同时保持相当的损失表现。此外，量化敏感度在训练期间高度稳定，仅需低频、低开销的重新校准。
arXiv cs.LGAI 评分3434 TAP：基于轨迹锚定恢复的高效长程智能体剪枝框架
研究团队提出首个针对强化学习训练智能体的结构化剪枝框架 TAP，通过轨迹锚定恢复降低长程智能体的高昂推理成本。在移除 60% FFN 通道的情况下，TAP 在 7B 密集智能体的 ALFWorld 与 WebShop 评测中分别保留了 99.2% 和 88.0% 的任务成功率，单次成功任务的 GPU 时间分别减少约 22% 和 17%。
arXiv cs.LGAI 评分3636 基于 LLM 蒸馏的多标签主题归类：生成式与判别式学生模型对比分析
一项研究系统评估了基于 LLM 知识蒸馏的多标签分类任务中，1B、4B 和 8B 规模的生成式与判别式（DeBERTa-V3、ModernBERT）学生模型表现。测试显示判别式模型在结构化商品评论中占优，但 1B 生成式模型在复杂多轮对话中反超基线；面对多达 112 个主题扩展时生成式模型依然稳健，而判别式基线的 Macro-F1 剧降 35%。相关优化模型已在全球电商生产环境中部署落地。
arXiv cs.LGAI 评分3636 自剪枝 Transformer：基于 Universal Attention 的极致 KV cache 压缩
Universal Attention 架构通过整合复合衰减机制并保留 RoPE 与 Softmax attention，实现了端到端训练的自适应 KV cache 剪枝。实验显示，该方法在自然语言和合成任务中取得了 10x 的 SOTA 压缩率，下游性能甚至优于未剪枝基线。在长上下文泛化测试中，该架构在 16k 长度下实现了 25x 的压缩率。
arXiv cs.LGAI 评分3838 SPIN：面向稀疏注意力的影子预测索引器
研究人员提出用于稀疏注意力的影子预测索引器 SPIN，通过基于历史的轻量预测识别重要 KV blocks，避免在每个解码步对完整 KV cache 打分。在长上下文与智能体基准评测中，SPIN 在保持任务质量的同时实现了 30-40% 的稀疏度。在端到端 vLLM 服务中，SPIN 将输出吞吐量提升最高 14.9%，并将中位数 token 间延迟降低最高 13.2%。
arXiv cs.LGAI 评分4141 KVFetch：面向 KV cache 压缩缺失维度的时序预取框架
免训练即插即用框架 KVFetch 正式提出，通过引入时序预取补全 KV cache 压缩在顺序遍历上的不足，解决长文本逐字拷贝中断问题。它将驱逐的候选 token 降级至量化冷层并预取位置后继，不增加注意力计算开销。在 RULER-16K 评测中，KVFetch 将逐字拷贝分数从 0.8 恢复至 78.4，13 项任务平均分提升 +8.4。
arXiv stat.MLAI 评分2525 EntroPrefill：面向检索增强生成具有条件稳定性保证的 Rényi 引导上下文剪枝
EntroPrefill 提出了一种结合 Rényi 引导机制与注意力显式约束的上下文剪枝方法，用于减少深层 Transformer 处理的序列长度。该研究推导了自适应剪枝层下的有限样本观测保证与条件扰动界，并给出了剪枝的算术收支平衡条件。本文属于纯理论研究，未提供实测加速比或任务准确率基准测试数据。
AWS Machine Learning Blog精选AI 评分7575 AWS 正式上线 Claude Haiku 5.5，支持 Amazon Bedrock 与 Claude Platform 调用
AWS 宣布在 Amazon Bedrock 及 AWS 上的 Claude Platform 正式上线 Claude Haiku 5.5。该模型面向高并发与成本敏感型场景及子智能体任务，多数任务成本较 Claude Haiku 4.5 降低约 75%，并首次引入努力度控制以平衡成本与智能水平。
推荐理由：文中明确了 Haiku 5.5 搭配 Opus 5.5 的子智能体分工，并给出 Bedrock 多种 SDK 接入方案，便于评估规模化落地的调用成本与架构设计。
arXiv cs.AIAI 评分4747 评估 LLM 路由的升级信号：目标、对照与五种自欺陷阱
研究针对从小语言模型路由至大模型的决策提出了一套升级信号评估框架。在 GSM8K 测试中，针对规模相差约 12 倍的大小模型对，语义熵区分小模型错误的 AUROC 达到 0.871，在同等成本下比随机升级提升最多 9 个百分点的路由准确率。研究同时指出，仅凭问题难度规则就可能产生相似假象，且实时采样成本甚至可能超过直接调用大模型。
arXiv cs.AIAI 评分3737 轨迹检索投机解码：模型自身历史何时能提供帮助？
研究针对长思维链推理提出轨迹局部自适应检索方法（TLAR），通过检索自身生成轨迹中的历史内容来辅助投机解码。TLAR 从当前轨迹提取近似匹配片段，结合近期验证结果自适应调节检索与候选宽度，并通过严格验证保持目标模型输出分布不变。在代码调试、数学和开放写作测试中，结合 TLAR 显著提升了 token 接受率与端到端吞吐量。
arXiv cs.AIAI 评分5454 MemMux：面向多并行编码智能体的运行时验证与资源归因系统
研究者提出了用于管理单机多编码智能体集群的本地运行时 MemMux，将内存治理与进程管控转化为可在运行时检验的监控信号。在 Linux 测试中，MemMux 将智能体集群内存严格限制在 7.5 GiB 预算内且实现零 swap，并能 100% 回收已终止智能体的子进程树以及检出全部 10 个逃逸子进程。
arXiv cs.AIAI 评分4141 Cascadia：在 11 台 AI PC 上实现 975B MoE 模型驻留推理
Cascadia 实现了 Inkling 模型（总参数 975B、激活参数 41B）在 11 台配备 64 GB 内存的 Intel Core Ultra X7 358H AI PC 上的驻留分布式推理。
arXiv cs.AIAI 评分3939 Offline AI Modules：语音优先离线架构、硬件参考栈、量化与基准评测
Offline AI Modules 提出了面向弱网环境的语音优先完全离线 AI 架构、硬件参考栈以及 2-5B 指令微调模型量化评测流程。在 NVIDIA Jetson Orin NX 与 Raspberry Pi 5 上的测试显示，Q4_K_M 为最佳量化方案。
arXiv cs.AIAI 评分3434 AegisFlow：面向脆弱数据生态自主修复与自愈的多智能体 AI 框架
研究提出 AegisFlow 多智能体 AI 框架，利用 Watchdog 与基于 LLM 的 Repair 智能体实现数据管道故障从检测到补丁部署的闭环自愈。
arXiv cs.AIAI 评分3737 FluidPD：面向 SLO 感知的大语言模型 Prefill-Decode 分离推理原位弹性系统
FluidPD 是面向大语言模型 Prefill-Decode 分离推理的原位弹性系统，解决负载动态失衡导致的 SLO 违规。系统通过 FluidToken 将部分预填充计算卸载至解码节点应对瞬时失衡，并利用 FluidRole 原位切换节点角色应对持续失衡，无需重载模型。在 Azure 生产负载测试中，FluidPD 相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点。
Cloudflare BlogAI 评分5757 Cloudflare 如何构建基于证据的多智能体安全运营框架
Cloudflare 详细介绍了其在 Managed Defense 中构建的多 AI 智能体安全运营架构。系统先通过确定性应用代码提取网络上下文并固化为证据包，再由轻量模型 Clef 过滤噪点，并调度四个专业智能体并行分析流量与威胁情报。该方案严格限制模型越权并区分未检出与无异常状态，早期测试版现已面向部分企业客户开放。
AWS Machine Learning BlogAI 评分5959 Cornerstone OnDemand 如何利用 Amazon Bedrock 将数据库诊断时间缩短 78%
Cornerstone OnDemand 基于 Amazon Bedrock 与开源框架 Strands Agents 构建了多智能体系统 Orion AI，将数据库故障诊断时间从 45 分钟缩短至 10 分钟，降幅达 78%。
AWS Machine Learning BlogAI 评分4949 AWS 推出基于 AWS DevOps Agent 调查的自动化故障修复方案
AWS 演示了结合 AWS DevOps Agent、Amazon EventBridge、Amazon Bedrock 与 AWS Lambda Durable Functions 构建的事件自动化修复工作流。
AWS Machine Learning BlogAI 评分3939 Qlik 如何基于 Amazon Bedrock 构建可靠的企业级 AI
Qlik 基于 Amazon Bedrock 构建了企业级工具 Qlik Answers，为超 40,000 家客户提供有据可查的自然语言问答能力。自 2026 年 2 月全面可用以来，其 Discovery Agent 已为客户检测出超 100,000 项异常。
arXiv cs.LGAI 评分3535 FlexiFlow：机器学习工作流中基于多臂老虎机的动态模型切换
FlexiFlow 是一种机器学习数据流系统，能在当前模型准确率较低时动态切换至备用模型，将工作流准确率提升最高 23%。该系统采用新型多臂老虎机方法对模型进行排序，综合考量运行时间、用户定义断言的通过概率及工作流计算结构。通过在运行时切换模型并复用中间结果，FlexiFlow 相比顺序执行工作流还带来了 48% 的效率提升。
arXiv cs.LGAI 评分3535 SoloQ：面向扩散大语言模型的免校准量化框架
研究提出免校准量化框架 SoloQ，通过结合结构化 K-RPBH 旋转与轻量级重缩放校正，实现面向扩散大语言模型的数据无关 4-bit 量化及 commit-time KV cache 压缩。
arXiv cs.LGAI 评分3636 TRIAGE：面向原生 NVFP4 强化学习的方向感知偏差稳定方法
研究团队提出 TRIAGE 方法，解决大语言模型原生 NVFP4 强化学习中采样与学习执行不匹配导致的优化不稳定问题。该方法在保留两端 NVFP4 W4A4 前向执行的同时，通过片段级诊断重平衡策略梯度更新并修复严重偏差。在 Qwen3-4B 和 Qwen3-30B-A3B 上的实验表明，其在 5 个数学推理基准上达到全精度表现，rollout 吞吐量较 BF16 最高提升 2.3x。
arXiv cs.LGAI 评分3737 块级扩散语言模型中的掩码引导 KV Cache 驱逐
研究团队提出无需训练的 MaskAhead 及其量化变体 Q-MaskAhead，通过掩码查询排序机制优化块级扩散语言模型的 KV cache 驱逐与 token 选择。长提示问答中，两者分别降低 9.5x 和 20.1x 的 KV 显存，平均 F1 仅损失 1.2 和 2.3 点；并在 batch-32 测试中取得 1.23x 端到端与 1.68x 解码加速。
arXiv cs.LGAI 评分3434 AttSVD：基于注意力引导 SVD 的提示词自适应低秩 KV cache 压缩
AttSVD 提出了一种基于注意力引导 SVD 的免训练低秩 KV cache 压缩方法，在保留全部 token 的前提下沿特征轴降低存储开销。该方法通过在线截断 SVD 仅保留注意力实际读取的方向，并提供累积与流式两种解码缓存策略。在智能体基准和完整 LongBench 评测中，AttSVD 仅占用最多 50% 的 KV cache 内存，性能与稠密缓存相当。
arXiv cs.LGAI 评分3535 面向制造业的事件驱动机器学习流水线编排：AWS 实践经验
面向汽车制造的事件驱动机器学习架构实现了自动化 GPU 训练编排，在 40000+ 生产任务中较常驻 GPU 降低 72-78% 成本。系统结合 Amazon ECS、EC2 GPU 容量提供程序与准入控制 Lambda 调度器，协调物理预测和强化学习控制策略的重训。离散事件模拟显示无准入控制会丢失 65% 的任务，相关模拟器与 Terraform 模块骨架已开源。
arXiv stat.MLAI 评分3434 超越边际监控：面向大规模电商数据概念漂移的分布式联合分布检验
研究人员在 1.375 亿行电商特征表等基准上评估发现，基于 Apache Spark 的随机傅里叶特征分布式最大均值差异方法能稳健检测概念漂移。该方法在强漂移场景下与预期漂移幅度的皮尔逊相关性达 r = 0.940，真阳性率为 80.4%，假阳性率为 3.2%。相比之下，逐维度 Kolmogorov-Smirnov 检验因非对称采样下 ID 类列的统计饱和而失效。
Together AI BlogAI 评分4747 Together AI 携手 IBM Cloud 与 NVIDIA 扩展企业级推理算力
Together AI 宣布与 IBM 及 NVIDIA 合作，成为首个在 IBM Cloud 上运行大规模专用推理集群的客户，该集群采用专为推理构建的 NVIDIA B300 GPU 与 Spectrum-X 以太网网络。合作中 Together AI 运营推理层，IBM 与 NVIDIA 分别提供云基础设施及芯片网络，以满足其每月为超 100 万开发者处理数百万亿 token 的推理需求。
AWS Machine Learning Blog精选AI 评分6767 如何基于 AgentCore 与 OpenClaw 构建上下文感知 AI 智能体
AWS 介绍了如何结合 Amazon Bedrock AgentCore 与开源智能体框架 OpenClaw 构建具有持久上下文记忆的个人 AI 助手。
推荐理由：提供了无服务器容器运行时、多层长期记忆提取与提示词缓存的完整工程方案，适合需要为智能体添加低成本跨会话记忆的开发者参考。
AWS Machine Learning BlogAI 评分3636 直接从 SageMaker Studio 管理 Amazon SageMaker HyperPod Spaces
数据科学家和机器学习工程师现可直接在 Amazon SageMaker Studio 界面中创建与管理 HyperPod EKS 集群上的 Spaces，无需使用命令行即可快速启动 JupyterLab 和 Code Editor。集群详情页新增“IDE and Notebooks”标签页，支持可视化配置计算资源、管理配额，并能一键启停或通过 VS Code 等远程 IDE 连接开发环境。
AWS Machine Learning BlogAI 评分3333 Amazon SageMaker HyperPod 管理与治理最佳实践
Amazon SageMaker HyperPod 结合 SageMaker Unified Studio 构建了涵盖组织、项目、集群与工作负载四层的管理治理架构。该方案将集群与算力集中在专属容量账户统一运维，支持 ML 团队在项目工作区安全提交模型训练和微调任务；同时针对 Amazon EKS 与 Slurm 分别通过 RBAC、配额借调抢占及 QoS 机制实现多租户算力公平分配。