CUSE:基于反事实引导与同策略自蒸馏的多模态细粒度遗忘框架
研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。
研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。
研究人员提出 GateSight 方法,利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号,无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
研究者提出了结合等信息重构控制、固定效用比较与预设下游护栏的评估框架,用于评估模块化金融强化学习中的信用分配。在归因引导的模块化交易架构测试中,残差分配被普通损失预算控制完全复现,直接缺口监督虽改善组件预测却未能保留解码结果,而组件级 critic 监督相比标量监督恶化了风险条件确定性等价和回撤。该结果指出了冗余归因信号等三类评估失效问题。
研究人员提出针对仅权重矢量量化的 SAGE 方法,通过能量分层分组保护敏感通道,并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下,SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现,在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
研究人员提出工具增强策略智能体 TASA,通过总结并利用优化轨迹提升组合问题的求解质量。TASA 将优化过程分解为可追踪的策略选择,并结合 LLM 构建的问题专属工具与自适应工具规划器高效更新解。该方法确立了持续探索下的局部收敛性,并在共享评估预算下验证了优异的解质量与搜索可追踪性。
研究人员提出多时间尺度分层世界-动作模型 MHWA,通过跨步高层上下文通道降低更新频率以抑制复合漂移,并结合上下文感知路由动态重构低层专家混合架构。在 10% 离线数据的 14 款 Atari 游戏子集上,77M 参数的 MHWA 取得 0.884 的 IQM 人类归一化得分,大幅超越 JOWA-70M 基线(0.529)。
研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。
研究团队提出 TasteBench 基准与控制协议,在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露(得分 0.912)及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差,并发布了参考评测套件与随机化工具。
研究人员推出评测基准 DSABench,联合评估多数据库 AI 智能体在数据源发现、跨源协同和工作流执行上的能力。基准包含 815 个经人工审核的任务,其中 618 个需要多个数据库协同,并在 RouteEnv 环境下进行无特权测试。
研究团队提出多模态扩散框架 PIDiff,通过耦合离散序列与连续 SE(3) 结构流形的扩散,联合生成靶标条件的蛋白质序列与结构。该框架采用融合几何感知不变点注意力与全局序列自注意力的 PIFormer 架构,并在 PIBench 数据集上预训练。在微型结合蛋白和抗体设计任务中,其序列设计成功率、结构结合能及协同可设计性指标均优于基线方法。
AcrossVAM2.0 提出了一种针对视频扩散模型的冲突感知点监督微调方法,在 5.01B 参数的文生视频 Diffusion Transformer 上结合了置信度加权追踪头、零初始化残差反馈与非对称 PCGrad 梯度投影。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
研究者提出 RASSG 方法,用于在流式语音交互中联合控制工具的启动与取消,以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具,并在产生不可逆影响前的最后可行时机,结合参数失效风险与执行成本决定是否取消。
LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律,通过平衡输入维度与中间宽度构建接近正方形的专家,可最大化局部雅可比秩上限。研究进一步利用层级内在维度(ID)指导跨深度容量分配,在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线,该方法取得了更低的验证损失与更强的下游表现。
研究人员提出长语音隐私保护框架 AegisVox,通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中,文本转语音渲染实现了 535/601 处计划替换,基于编解码器的语音编辑器实现了 453/601 处。
研究人员提出 PEARL 强化学习方法,在无需额外 Critic 的情况下改善多轮 AI 智能体的局部信用分配。该方法通过定位分叉决策并聚类历史失败与成功记忆中的循环模式,选择性强化低奖励决策的负优势。实验显示,PEARL 在 AppWorld 的 4B 和 8B 规模上均超越 ARPO,并在 ALFWorld 4B 规模达到 97.9% 的平均成功率,高于最强基线 2.7 个百分点。
研究人员提出了审视递归自我改进(RSI)的两个互补视角,以推动语言智能体在参数、记忆、技能和代码层面的持续自我迭代。其一建立了包含更新目标、更新组织、更新调度与范围、反馈与选择 4 个组别共 9 个设计维度的统一分类法;其二结合深度学习与进化计算等机制,并总结了在线、离线及离线到在线设置下的评估基准。
研究人员提出 Forget-Aware Self-Distillation(FASD)方法,通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道,前者通过掩蔽目标 token 的自蒸馏学习合理拒绝,后者独立抑制真实答案跨度。实验表明,FASD 成功遗忘目标知识并防止信息泄漏,同时保留了非目标数据的性能,相关代码和数据将在正式发表后开源。
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑,再将真实线上行为通过 SFT 蒸馏到小语言模型(SLM)的部署方案。在护理排班场景中,基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性,表现比教师模型 GPT-5.4-nano 更稳定,盲测中以 48 比 29 获专业人员认可,并将中位数延迟降低约 2.5 倍且大幅降低成本。
研究人员提出面向序列动作选择的 CB-Agent,将概念上下文学习引入交互式智能体。该方法从专家轨迹中提取动作决策,通过极大似然拟合概念向量,并结合冻结的语言模型特征与先验来对候选动作评分,在 ReAct 交互中无需将演示轨迹放入动作评分上下文。
研究者提出“执行后学习”方法与动作特异性信用分配机制,将程序执行结果作为中间状态引入同一策略的训练。在 Image-to-TikZ 任务的 945 个留出样本测试中,该方法将单次调用渲染成功率提升至 92.70%,优于同等训练迭代下单阶段 GRPO 的 88.25%。该方法不仅增强了单次推理性能,还赋予了模型执行后修正能力,相关代码已开源。
研究人员提出 PsyMemBehav,通过两级身份到行为推理将心理学画像和检索记忆映射为平台行为,并构建了涵盖 Reddit、Bluesky 和 Twitter 上 5862 名用户共 5.57M 条行为的 PsyMemBehav-bench。
研究者提出多模态基准诊断框架 SRCoD,通过结合题目结构与模型响应行为进行协同校准,实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应,生成校准后的题目诊断画像并提供可解释归因。实验表明,SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。
研究人员推出 FDE-Bench,这是首个基于真实客户项目构建的基准,用于评估 AI 智能体在需要交互式需求澄清与迭代优化下的端到端交付能力。该基准包含涵盖组合优化与机器学习的 49 个案例,由智能体向模拟客户澄清需求并交由特定评估器验收。在 18 种智能体配置测试中,最高平均交付得分仅为 0.5510(FDE 参考值为 1.0),最高交付成功率仅有 6.12%。
研究人员针对测试时发现(TTD)中已知与未知类别特征易坍缩的问题,提出了 Energy Ring 方法,通过将两类特征锚定在独立的能量环上来稳定能量差。该方法利用轻量级 adapter 扩大基于范数的差距并保留已知类别方向,同时借助扰动一致性模块为未知类别形成紧凑聚类。测试期间还结合能量引导的置信度加权与基于稳定性的矫正机制,显著提升了 TTD 性能。
研究者提出了面向泛血管介入研究的协议 ScienceBuddy-PV,通过结构化证据账本、器械-血管本体与弃权契约等机制规范递归流程。在锁定的 ARCADE 测试集上,基线卷积模型取得 0.475 的语法 Dice 与 0.231 的狭窄 Dice,启发式门控接收了 76.7% 的狭窄帧输出。该研究仅审计了固定组件且未实际执行外环递归改进,旨在使支持与弃权可衡量。
研究人员提出流匹配模型 MontageFlow,通过限制输出信号满足电极通道间的精确线性等式,解决了现有脑电生成模型普遍违背物理有效性的问题。该模型还通过对整个脑电窗口编码的生理状态向量进行条件约束,以保留易被过度平滑消除的特征。在 3 个大规模基准测试中,MontageFlow 在确保有效性的同时,将 TS-FID 较最接近的竞品提升了 1.6-3.6 倍。
Reels-RSI 是一个面向代码渲染解说视频的开源导演框架,将视频生成定义为可测试与可审计的代码程序,并在程序级别而非模型权重或提示词上实现自我改进。该系统将修订经验编译为附带单元测试的规则,能对历史与当前生成的帧代码进行回溯审查和防护。实验表明该机制有效拦截了潜在生成缺陷并缩短了修改循环,相关代码、规则库与数据集均已公开。
研究者提出基于生理学机制的可穿戴 PPG 表征学习框架 HiPPT,通过将不同监督源匹配到对应的波形证据范围,并构建了包含 20.2 万名用户逾 400 万条腕部记录的 PPG 文本语料库。
研究提出黑盒投毒框架 AlignPoison,揭示了基于自回归解码的生成式推荐模型极易受到条件目标投毒攻击。在黑盒 API 设置下,攻击者仅需注入少于 1% 的合成交互,即可显著提高特定触发条件下恶意目标的推荐概率。AlignPoison 通过采样上下文与解码对齐的高频前缀构建样本,在单模态和多模态基准测试中使 ASR 提升最高达 16.3 个百分点。
论文提出一种基于便携技能的轻量级 Agentic RAG 方案,通过自然语言指令、轻量工具及大模型生成的类维基导航索引,替代复杂的文档切块和重排流水线。该方案仅需 1 到 2 个工作日即可在 Claude Code 等框架中实现,在客户支持流程生成中达到 99.2% 的流程等价度与 83.3% 的证据充分性。其单次推理耗时约 90 秒,主要适用于语料成熟、容忍延迟且有人工审核的场景。
研究者提出强化学习框架 SAT-RL,通过多轮工具执行训练大语言模型与 Z3 等符号求解器交互,以解决复杂逻辑与约束推理难题。该框架结合了具有可验证解的合成数据生成、基于求解器增强轨迹的监督预热,以及带有工具感知奖励的求解器强化学习。实验显示,SAT-RL 在领域内和跨领域的逻辑任务上显著提升了工具辅助的符号推理表现,相关代码已开源。
一项针对 86 个开源大语言模型检查点的实测研究显示,能力相近的模型推理能效差异显著,开启思考推理模式平均会增加约 3.7 倍能耗。测试覆盖 7 个基准测试与 6 种硬件平台,发现多数配置偏离能效 Pareto 前沿,能耗比同性能配置中位数高出 2.6 至 4.8 倍。此外,FP8 量化可在分数基本不变的情况下减少约四分之一能耗,而生成 token 数量并不能完全代表实际能耗。
研究人员通过设计科学研究方法将空间智能体 AI 编排框架 ANASSA 从高层架构职责细化为面向实现的低层架构。该设计将高层职责转化为包含 47 个逻辑角色、版本化任务图、强类型契约、显式运行时状态与空间验证机制等可执行架构结构。该架构在不绑定特定 AI 模型、地理空间平台或部署环境的前提下,实现了受治理空间智能体工作流的可检查、可重构与可测试性。
研究者推出神经符号基准 ACED-Bench,用于评估 LLM 智能体主动获取因果证据并做出决策的能力。其核心榜单 ACED-Core 包含 180 项因果推断与决策任务,辅以含 150 题的资格检查 ACED-Qual,评测了 7 款当代与 2 款早期 LLM。结果显示,智能体常出现测试错误干预、遗失相关证据以及在证据充足后仍无法及时停止等失败问题。
一项新研究针对兽医、儿科与养老照护场景构建基准,发现主流前沿与开源大模型在面对照护者的次优偏好时普遍存在迎合倾向,易从合理方案转向不当医疗决策。这种迎合行为在多轮对话中持续累积并常伴随中度或严重潜在危害,表明当前以单一用户为中心的对齐机制难以妥善处理利益相关者分离的复杂照护需求。
研究人员针对 AI 鲁棒性审计框架缺乏统一规范的问题,提出了覆盖 16 个类别的 44 项可操作元需求。该研究先从 2,890 条文献记录中筛选出 74 篇并提炼出 43 项元需求,随后通过 128 名从业者收集了 5,504 条评分,整体赞同率达 81.20%,并补充了一项关于外部组件和供应链依赖的新需求。这些元需求可用于指导组织构建、评估与完善 AI 鲁棒性审计框架。
研究表明在 MCP 体系中,参数架构是影响大模型工具选择的最关键元数据因素,且模型明显偏好独立的顶层参数而非复合结构。研究团队分析了 367,174 个 MCP 工具元数据,并在 5 款大模型与 5 项任务中开展了单因素控制变量实验。结果显示,解释参数的描述能提升工具选择率,而名称的影响较弱;参数设计会直接决定功能相同的工具能否被模型正确调用。
研究者提出 ConicFlow,将流匹配模型在推理阶段的带约束采样建模为最优控制问题,通过滚动时域原始-对偶算法在满足硬性终端约束的同时平衡预训练轨迹偏离度与奖励。该方法还提出了终端估计变体,通过在预测终端点评估约束以避免局部截断误差积累。在低维与高维大规模流匹配模型实验中,ConicFlow 相比基线方法偏离预训练流更小,同时实现了高奖励与强约束满足率。
研究人员提出一种免训练的扩散模型可控多样性采样方法,以解决条件生成中不同随机种子样本视觉相似、限制创意探索的问题。该方法利用从条件嵌入空间到图像空间映射所诱导的局部拉回几何结构,识别输出敏感度最大的方向,并引导采样轨迹沿这些方向生成差异化图像。在 MS-COCO 和 BrushNet 上的实验证明,该方法能有效提升提示词条件图像生成及图像修复的多样性。