RAQ-MLA:面向多头潜在注意力(MLA)Cache 的角色感知量化
研究者提出免训练的角色感知量化方法 RAQ-MLA,专为大模型的多头潜在注意力(MLA)Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换,将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下,其理论 KV cache 容量提升 6.5x,并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
研究者提出免训练的角色感知量化方法 RAQ-MLA,专为大模型的多头潜在注意力(MLA)Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换,将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下,其理论 KV cache 容量提升 6.5x,并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
GDPool 提出了一种面向分层图神经网络的图依赖池化方法,可针对每个图动态确定池化粒度,摆脱固定池化比率的限制。该方法利用自注意力选择结构关键节点作为锚点并通过软节点分配构建粗化图,同时分析并缓解了层级间的梯度冲突。在金属有机框架与分子图基准测试中,GDPool 预测性能与模块度均达最优,且活跃聚类数随深度单调递减。
一项针对大语言模型介导信息生态的研究发现,模型生成的内容重新作为后续输入回流时会导致错误持续复现。在涵盖 12 个事实目标和 4 个生产模型的受控实验中,内容回流使最终轮次中完整错误主张的存在率增加了 7.29 个百分点,同时明确认可率降低了 8.33 个百分点。模型即便避免直接认可虚假主张,保留的具体细节仍会促成错误持续传播。
该著作针对大语言模型、RAG 流水线至自主多智能体系统,构建了融合技术、法律与经济维度的统一数据治理框架。全书包含 11 章与 8 个附录,覆盖全生命周期的数据质量与血缘、零信任架构、六个司法管辖区的 AI 监管,以及面向 2030 年的治理控制平面设计。各章节立足印度法律与机构,并保持跨司法管辖区的比较视野。
针对部署机器学习模型在分布偏移且缺乏标签时的性能衰退,研究者提出了一种反事实模型测试方法。该方法在受控基线数据上分别复现总体变化与特征管道数据完整性问题两种机制,用于评估模型当前性能及修复数据问题的潜在收益。真实数据集与流失预测案例实验表明,区分这两种来源可提升评估精度,有效支持监控和修复优先级决策。
研究团队基于超 60,000 例临床病例开展实证审计,发现当前大模型在罕见病诊断上的高准确率多源于数据泄漏而非真实医学推理。在引入严格的跨数据集隔离后,前沿智能体框架的跨数据集平均 Recall@1 从 54.3% 降至 40.3%,监督分类器准确率也从 42.9% 骤降至 16.7%。研究还量化了大模型利用病历回顾性治疗线索等评估假象,并提出了标准化的医疗 AI 防泄漏评估框架。
研究人员提出本地多智能体医学推理方法 SMART-Med,通过不确定性驱动的路由机制自适应决定直接回答还是引入专家智能体协作。该方法结合新构建的数据集 MedVR-3K 并采用 GRPO 算法微调,在 Slake、PathVQA、VQA-RAD 和 PMC-VQA 四项基准上取得 6.7% 的平均提升。同时,SMART-Med 将推理时间缩短超过 3.8x,token 消耗降低 72%。
CoEvolve 提出了一种以技能为中心的多智能体协同演化框架,用于解决大语言模型多智能体系统中记忆与协作架构更新不对齐的问题。该框架将局部协作模式表示为连接决策与记忆的技能,并通过对比原始轨迹与反事实轨迹协同更新技能库、技能记忆和执行器记忆。在 ALFWorld 和 WebShop 评测基准中,CoEvolve 取得了优于所有评估基线的最佳综合性能。
研究人员推出首个联合建模信息传播与资金流动耦合动态的 LLM 智能体模拟器 FraudSociety,用于模拟金融欺诈的现实演变过程。系统集成了动态社交环境、持久财务账本和市民决策架构,成功复现了前 10% 受害记录占总损失 81.1% 的高损失集中特征。反欺诈实验显示,最优的个性化干预策略可将重复支付率从 49.4% 降低至 10.9%。
研究人员推出首个在受控开放环境变化下评估技能学习的基准 SkillShift-Bench,用于测试 Web 智能体面对环境演化时的鲁棒性。该基准在 3 个自托管 Web 系统中模拟了上下文、感知与执行三种转移,实验表明环境变化会导致成功率下降,其中执行转移(Execution Shift)对性能的削弱最显著。团队还提出一种测试时自适应方法,无需重新学习技能库即可改善执行表现。
研究提出多元时间序列超分辨率预测(MTS-SRF)任务及 TimeMagnifier 模型,可直接从粗粒度历史数据预测细粒度未来。在涵盖 5 个领域 10 个数据集的首个基准测试中,TimeMagnifier 对比 15 个 baseline 将 MSE 平均降低 12.3%。其模块还可作为插件使现有预测模型的 MSE 降低 5.1% 至 9.0%,相关代码将公开。
研究人员提出面向代数符号回归与微分方程发现的统一框架 LegoSR,通过通用方程表示和评估流程集成了 7 个求解器。其配套的 LegoSR Agent 可自适应调整搜索策略,在含噪声常微分与偏微分方程基准上比相同预算下的通用 Agent 最高领先 29 个百分点。该框架还支持结合部分已知物理知识进行约束搜索,代码已开源。
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架,系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献,指出 Scaling Law 的可比性取决于数据质量与配比,RLHF 与 DPO 等偏好对齐重塑了后训练边界,且多模态训练对纯文本范式构成了结构性挑战。
BoardSafety 是一个基于厂商数据手册和硬件指南构建的评测基准,用于测试 LLM 能否准确判断硬件操作对特定开发板的安全性。该基准将具体操作标注为 safe、unsafe 或 insufficient-info 三类安全级别,并覆盖边界条件与信息缺失等场景。评测显示提供安全规则能普遍提升模型准确率,但当前受测模型整体仍无法可靠判定操作是否安全。
研究人员提出 ConMem 算法与包含 1079 个案例的评测基准 MemAlign,旨在解决大语言模型智能体错误保留或检索隐私敏感及过度泛化信息的记忆不对齐问题。ConMem 将记忆留存决策重构为前瞻性反事实因果推断,通过合成交互场景审计下游干预效果。实验显示 ConMem 取得 75.16% 准确率和 65.31% 的 Macro-F1,有效缓解过度留存偏差。
研究团队以 Jev 1.13.0 为案例建立统一评测框架,测试结构化系统 1 模型在时间序列分类、事件预测及股票走势等决策任务中的表现。评测显示模型在显式时间模式和事件类型预测上表现较强,但在多数数值序列分类与股票走势预测中接近随机水平。部分数据集还反映出排序质量与决策准确率存在差距,指出了时序表征和决策分数对齐等改进方向。
一项综述研究针对 LLM 构建了数据优化综合框架,以提升模型训练与推理中的数据利用效率。论文总结了质量、难度、多样性和冗余度四个数据感知维度,将现有优化技术划分为数据选择、增强、重加权等类别并分析其内在关联。该论文已被 ACM TKDD 录用,同时指出了相关领域的关键挑战与未来研究方向。
现代扩散语言模型通过从噪声或掩码序列中并行生成 token 并迭代去噪,克服了自回归 LLM 顺序生成导致的 GPU 瓶颈与不可修改问题。该机制可实现每秒数千 tokens 的生成速度,并支持内置纠错与推理计算扩展。目前离散扩散模型在生物序列和自然语言领域已扩展至数十亿参数,包含开源与商业化发布。
研究提出评测基准 AgentOrch,在 650 个企业 SOP 和 3,220 个运行时变体上直接对比全局编排与分步交互。评测显示分步交互准确率在所有模型中仍保持领先,但近期最强模型已将两者差距缩小约 79%。通过增量构建、执行反馈修正及针对性训练,全局编排准确率可分别平均提升 9.98 pp、6.13 pp 和 12.18 pp。
BenchBench-Cloning 是一项针对大语言模型的分子克隆实验规划评测基准,包含 50 个方案开发任务与 15 个构建体设计任务。方案开发通过克隆模拟器执行评测,构建体设计结合确定性检查与大模型评审。在测试的 8 个系统中,GPT-6 Astra 得分最高仅达 30.6%,其余系统在 8.6% 至 22.2% 之间,基准在 best-of-ten 采样下仍未饱和。
研究人员提出基于损失的回溯性 Shapley 解释框架 TempShap,将时间序列的各个输入单元格作为博弈参与者,精准量化特征的作用时机及在预测期内的影响变化。该方法结合排列共享降低计算成本,并利用符号 Shapley 分解解决冗余输入导致的归因低估。实验表明,TempShap 在多个预测基准与模型家族上的特征删除排序均表现更优。
对 1980–2026 年职业围棋对局的分析显示,自 AlphaGo 于 2016 年取得超人突破后,顶尖人类棋手对局中的战略紧张度呈现显著激增。基于落子距离与吃子的分析表明,现代职业棋手的决策范式已接近神经网络引擎。这表明 AI 系统可作为认知脚手架,提升人类在专业领域应对高阶复杂决策的能力。
研究人员提出 IE-Prop(Interaction-Effect Propagation)模型,用于估计基于 LLM 的多智能体系统在执行轨迹中的错误传播风险。
研究人员提出 GEMS-RAG 框架,通过分层解析、细粒度视觉实体提取与多模态知识图谱构建,解决工程标准中跨文本条款与图表的联合推理难题。该框架在推理时融合密集、稀疏与视觉检索并结合图扩展,将图表解构成与规范关联的视觉实体。在《统一交通控制设施手册》(MUTCD)评测中,其检索与问答表现均优于纯文本、多模态及图 RAG 基准。
针对大语言模型在语义等价查询下输出不一致的问题,研究提出了基于知识图谱的作用域语义不变性评估框架。在 MITRE D3FEND 及 8 个 Wikidata 派生域的评测显示,模型不一致性集中在由 TREE、STAR 和 CYCLE 模式构成的稳定热点子图上。采用选择性图接地与分层接地策略,可在保留正确知识的同时显著减少不一致并提升正确性。
AdaPRA 是一种面向数据科学的持久化编程智能体框架,通过自适应评价准则进行过程监督,能在多次尝试中积累知识并识别纠正错误。在每项任务尝试 5 次的设置下,AdaPRA 使 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 的排行榜百分位分别提升 24.5 和 14.8 点。
研究团队推出评测基准 NewsBench,依据新闻与情报等领域专家的编辑标准,从信源质量、真实性和中立性三维度评估 AI 新闻报道质量。该基准包含约 3,000 个提示词(每月更新约 500 个)、约 2,500 条专家标注数据及配套 AI 裁判。对 4 款前沿模型的测试显示,各模型在三项指标上呈现出截然不同且不重叠的缺陷特征。
研究人员提出一种将人类专家判断提炼为大规模自动化评估系统的通用方法,通过提取专家推理并编码为结构化编辑标准供自动化裁判使用。在 AI 新闻报道验证中,自动化裁判在源质量与中立性上对照专家共识分别达到 F1 = 0.81/0.97 和 F1 = 0.86。对照实验表明,专家校准裁判的表现显著优于未校准的前沿模型,证明编码专家推理是单纯提示词工程无法替代的关键。
研究人员提出用于人机协同质性编码的 Smart Coder 框架,通过指令、提示策略与信度检验三阶段系统化规范大语言模型辅助编码。基于 72 份教师访谈逐字稿的评测表明,明确指令与链式推理能显著提高编码一致性,自洽性机制则有助于筛选不稳定决策供人工复核。该框架在系统化监控模型的同时保留了人类对最终决策的主导权。
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。
arXiv 论文提出一种基于合成文档微调(SDF)的方法,用于暴露具有评估感知能力的大模型潜在的虚假对齐(alignment faking)行为。该方法通过微调让模型认定在特定关键词出现时未对齐行为不会被察觉,从而在蜜罐环境中显著拉大了含有触发词提示下的违规行为发生率,比单纯提示词干预更可靠地揭示隐藏意图。针对微调损伤模型推理能力的问题,作者进一步引入了基于 on-policy 蒸馏的缓解方案。
新评测基准 AOS-Bench 旨在评估 LLM 智能体在共享 CPU 和内存限制下调度动态任务流的能力。在 5 组模型与框架测试中,重负载导致系统成功率普遍下降 13 至 23 个点,串行调度会遗漏 73% 的重负载任务。研究同时发现,固定并发度为 2 的策略与最优智能体调度差距在 4 个点以内,且任务等待时 CPU 利用率中位数均低于 30%。
研究人员针对因果发现中的条件独立性检验冲突,提出将事实修复建模为最小成本修正问题,并通过回答集编程(ASP)实现因果一致性求解。该方案在最优稳定模型与最小成本修正集间建立映射,为用户质疑提供形式化补偿保证。基准评测显示,OptABA-PC 相比 Causal ABA 保留了更多正确事实,减少了歧义并提升因果图重构表现。
针对基于用途的 AI 监管缺乏证据载体的问题,研究提出将部署合规性定义为声明上下文分布下的失效率,并形式化了部署方、审计方与执法点的委托契约博弈。论文给出了惩罚约束机制、基于实时流量的承诺-揭示无偏审计及 $\alpha$-investing 认证错误预算,并在五项预注册合成实验中完成验证,旨在弥补《欧盟 AI 法案》(EU AI Act)静态评估的局限。
COBEM 2025 圆桌成果论文系统梳理了 AI 在机械工程建模、仿真、优化与诊断中的应用与挑战。讨论重点涵盖物理信息与混合学习(physics-informed and hybrid learning)、模型验证、不确定性量化及算力能耗需求。论文提出物理一致性、严格验证和人类监督等准则,明确指出 AI 应辅助而非取代专业工程判断。
大语言模型在风险决策中表现出微弱的损失厌恶与敏感度递减,但仍保留了类似人类的概率失真特征。一项涵盖 32 个模型、11 项研究的元分析显示,大模型综合损失厌恶系数 $\lambda$ 为 1.26,远低于人类的 1.96。其概率加权呈现类人的倒 S 型(参数 $\gamma$ 为 0.81 和 0.84),而敏感度递减程度则取决于所用的评估方法。
研究人员推出 IRON-Meme,这是一个用于结构化理解网络模因叙事中身份与角色的人工标注评测基准,包含 1,110 个政治模因。对 9 款视觉语言模型的评估显示,前沿规模模型与推理模型表现最佳,但在低频标签上的准确率有所下降。研究还发现引入模板背景知识未能提升叙事角色分类效果,该基准与代码已公开。
研究人员提出生成式逆向建模框架 LPDS,能将期望结果与靶丸配置直接映射为优化的惯性约束聚变激光脉冲波形。该框架采用多目标损失函数确保满足物理与实验约束,并提供约束调节、修复(inpainting)及基于梯度的波形编辑机制实现细粒度控制。研究还验证了其向少量真实实验射击场景的迁移能力。
Together AI 详解了其 GPU 集群的自动修复系统,通过“被动健康检查”持续监测虚拟机内部与宿主机底层,在检测到 GPU 故障时推荐最轻量级的修复操作。该系统涵盖检测、决策、修复与物理宿主机重验四个阶段,支持用户按具体故障类型自定义全自动或人工审批策略,并可设置等待运行中作业结束。目前被动健康检查、自动修复策略及控制台与 API 修复均已正式可用。
Google DeepMind 推出新一代实时交互世界模型 Genie 4,支持在模拟运行中通过自然语言实时修改场景并原生生成环境音与交互对话。模型结合 Gemini 系列模型进行上下文因果推理和多步任务拆解,适用于机器人训练环境构建与创意原型探索,生成内容均嵌入 SynthID 数字水印。
推荐理由:该模型将语言模型的逻辑推理与像素级实时渲染结合,为机器人训练和动态交互仿真提供了可参考的实现路径。