SCOPE:面向智能体强化学习的选择性关键步骤同策略自蒸馏
研究人员提出智能体强化学习框架 SCOPE,通过分析自身轨迹生成后验技能,并仅在选定错误步骤进行关键步骤同策略自蒸馏。在 Qwen2.5-3B 下,SCOPE 在 ALFWorld 和 WebShop 成功率达 97.7% 与 85.2%,未见任务比 GRPO 提高 23.2 个百分点且减少 46.7% 交互;扩展至 Qwen3-32B 时未见任务成功率达 94.0%。
研究人员提出智能体强化学习框架 SCOPE,通过分析自身轨迹生成后验技能,并仅在选定错误步骤进行关键步骤同策略自蒸馏。在 Qwen2.5-3B 下,SCOPE 在 ALFWorld 和 WebShop 成功率达 97.7% 与 85.2%,未见任务比 GRPO 提高 23.2 个百分点且减少 46.7% 交互;扩展至 Qwen3-32B 时未见任务成功率达 94.0%。
研究人员提出 SelfMorph,通过自适应调整冻结 LLM 的内部计算拓扑,使计算形态成为推理阶段依赖输入的决策。该方法统一了原始前向路径 BASE、层复用 REPEAT 与分支合并 BRANCH,并在生成前由轻量选择器选择形态。在覆盖 4B-27B 的 3 个 LLM 评测中,SelfMorph 在 5 个分布内基准上平均相对提升 8.06%,在 27 个测试设置中有 24 个取得最佳性能。
研究人员提出参数生成器 CLIK,通过 Transformer 编码器单次前向传播将上下文映射为 LoRA 参数,将知识直接内化至模型权重,无需测试时梯度更新。生成的适配器插入冻结基座模型后可跨查询复用,使模型仅凭提问即可作答,摊销阅读成本。在文档问答中,CLIK 优于现有超网络生成器,并可直接迁移至多轮对话。
股票投研基准 Investor's Last Exam(ILE)通过 86 项任务与 3.43 million 文档版本,评估 AI 智能体在冻结信息集下的全流程投研能力。
研究人员提出因果抽象基准 MIOE,针对实体分类和包含关系预测两项本体工程任务,探索大语言模型处理本体知识的底层机制。在 Qwen3-8B 和 Qwen3-4B 上的评测表明,分布式子空间方法效果最强且可跨提示词泛化,多任务目标与连续层窗口干预能进一步改善分离平衡。结果证实大语言模型的本体预测在机制上可被访问,但现有方法尚未完全解耦出独立的因果机制。
研究人员提出跨模型幻觉检测框架 CHORD,解决不同大语言模型间因表征异构导致检测器难以向未见模型泛化的问题。该框架将隐藏状态建模为跨层、token 及特征的联合关系图,结合关系感知注意力与元学习提取可迁移的检测信号。实验显示 CHORD 的跨模型泛化表现优于代表性方法,相关代码已开源。
该研究为强化学习无折扣设置建立了互模拟度量的统一博弈论基础,将度量算子解释为零和博弈的 Bellman-Shapley 算子,在 $\gamma=1$ 时实现了唯一定义。该框架不仅刻画了度量有限性与 MDP 结构的关系并导出弱通信 MDP 下的有向度量,还证明其能界定总奖励与相对价值差,为聚合规划提供了误差与次优性保证。
研究者提出用于吃墩牌类游戏信念状态建模的声明式方法 Inner-Learning,可自动从 SOTA Skat 引擎中提取手工推理规则并修正原引擎中的 3 个 bug。该方法结合对称派生与专家策略标注扩充规则库,并引入基数约束与置信度参数实现概率信念更新。自对弈评估显示,声明式引擎在胜率和得分上均显著超越原手工编码引擎。
VGR(Verification-Guided Reflow)方法将反应验证作为决策动作引入 AND/OR 搜索,使 Retro190 上的验证可解性从 51.1% 提升至 62.6%。团队进一步提出早期剪枝与延迟引导策略,立即剪枝被拒反应并在完整候选路线形成时调整优先级。该策略在固定调度下将验证可解性进一步提升至 71.1%,同时减少了提议调用与独立验证查询次数。
FACTS-MAS 是一种通用的多智能体预测框架,可将时间动态、外生上下文、季节性等异构证据解耦到专用通道,并通过历史验证动态加权融合各智能体预测。在覆盖美国 15 个大都市区、4/8/13 周预测期的 Zillow 房屋库存与 FRED 失业申领数据测试中,该方法优于 TimesFM 基础模型和朴素基准。相关代码、数据与结果均已开源。
研究人员提出 Rubricon 流水线,无需人工标注即可通过任意 LLM 自动化生成并优化用于评测与训练的高区分度评分规则。在 5 个涵盖专业、消费、临床和通用的 LLM 基准上,其打分与专家人工规则的对齐度比 RRD 等现有方法高出 9%。在 HealthBench 上,使用其规则后训练 Qwen3.5-9B 模型,性能比最强基线 RRD 提升 4.5%。
研究人员在测试 5 个模型族和 4 种拓扑结构于 120 例 MIMIC-IV 急诊病例后发现,临床多智能体系统的协商机制无法消除既有偏见,反而会将群体差异洗白为看似合理的决策。测试显示公平性提示词与人口属性掩码等后期干预均告失效,单智能体自我去偏甚至会扩大差距;通过多视角集成使反事实版本在每轮协商中可见并汇总,可使该偏差降低 67% 至 94%。
GAAC 提出一种无损 KV 缓存压缩系统,利用指数冗余在逐位保真下在 5 个模型上实现 1.405-1.407× 的 BF16 压缩。该方案在 64k token 上下文下将 NVIDIA DGX Spark 解码 attention 加速 1.19-1.27×,端到端 W4A16 解码加速 1.04-1.15×,并削减约 26% 常驻 KV 内存。
研究人员提出一种有界双循环自动化原理图合成框架,可将自然语言规格直接转化为经闭环验证且可编辑的 KiCad 电力电子原理图。该工作流集成 API 选型与 ngspice 瞬态仿真验证;相比原生 LLM 基线,该框架将元器件验证覆盖率从 22.2% 提升至 98.6%,标称值一致性达 97.7%,SPICE 仿真通过率从 0% 提升至 100%。
研究人员提出洗发水瓶表面缺陷检测基准 Bottle-SKU 与原型引导动态域调制方法 ProDMM。Bottle-SKU 涵盖 13,119 张图像、20,419 个实例级边界框、7 种缺陷类别与 48 个 SKU。ProDMM 通过构建视觉原型为预训练 Grounding DINO 动态生成调制,并在 Bottle-SKU 与 GC10-DET-SKU 数据集上验证了有效性。
研究人员推出评测基准 DecompGym,用于评估 LLM Agent 设计与实现 Benders 分解和列生成两类优化算法的能力。该基准包含 9 个问题族的 81 个实例,针对 12 款 GPT、Claude 和 Gemini 模型展开测试,要求在 60 秒限时与 1% 目标值误差内通过代码方法审查。测试显示首轮有 2 款模型解出全部实例,引入错误诊断的反思机制可将重试成功率提升至 66%。
BridgeRouter 提出增益感知实例路由机制,无需重训主干即可将预训练 EEG 基础模型按样本分流至最优跨模态桥接路径。推理时仅观测目标模态且只执行单条路径,增益达标时选用最优路由,否则回退至默认求解器(SBS)。在 FOG 和 ISRUC 评测中,其平衡准确率达 81.38% 与 62.92%,较单一基线分别提高 11.49 和 3.83 个百分点。
研究者提出多维度评测基准 SkillCT,从静态评估、动态评估和人机协作评估 3 个方面共 9 个维度综合评估 Agent 技能质量。基于该基准构建的免执行评估基线通过检索参考技能来预测未见技能的质量,无需实际运行即可降低评估时间和 token 消耗。此外,由 SkillCT 指导的技能优化能够有效提升下游任务的成功率与执行效率。
arXiv 论文提出分解而非扩展的 AI 系统架构设计原则,主张将任务中的确定性逻辑剥离给宿主程序,仅让模型处理不可简化的核心生成部分。在涵盖 494M 参数本地模型至 Opus 级前沿模型的 9 个模型评测中,剥离确定性上下文后各模型在操作选择上表现一致,无需针对任务微调即可消除尺寸差距。作者进一步归纳了划分确定性边界与闭合语法的通用方法,并在动作重定向、对象编辑等多个场景中验证了该范式。
研究团队提出基于 LLMON 框架的大语言模型后训练方法,通过显式分离可执行指令与被动数据来解决提示注入漏洞。该方法构建了包含 4.6B tokens 的结构化语料,涵盖通用、RAG 与工具调用数据,在 Granite-4.1 3B 和 8B 基础模型上完成 SFT 与强化学习后训练。
研究人员提出虚拟现实训练系统 ProACT,通过学员表现与模拟火灾动态的闭环交互,动态调节训练难度。系统结合了根据学员表现实时调整场景火势蔓延的全局模块,以及定期更新环境物体可燃性的局部模块。评估结果表明,相比现有的自适应与非自适应基线,ProACT 有效提升了客观训练表现和主观用户体验。
研究人员提出一种将强化学习智能体与 FlexSim 数字孪生集成的框架,用于仓库物流货位的实时动态优化。该系统在四分区仓库与叉车搬运模型中,利用资产管理壳(Asset Administration Shell)框架实现智能体、物理资产与数字孪生的无缝交互。实验显示,该方法使平均拣货时间减少 29.66%,系统吞吐量提升 35.42%,行驶距离缩短 18.54%。
研究指出,LLM 在因果推理基准 CLadder 上的高分表现主要源于生成器内嵌的肤浅模式,而非真正具备复杂的形式因果推理能力。实验显示,随机森林等简单模型在 CLadder 生成的数据集上训练后同样表现优异。此外,直接删除对形式因果推理至关重要的核心文本后,商业 LLM 的表现几乎不受影响,证明其推理性能极具脆弱性。
PromptSense 是一种新型心理健康聊天机器人框架,在模型推理前结合情绪与抑郁分析及规则过滤,通过动态构建提示词提升回复的共情力、相关性与风险意识。实验涵盖 4 种模型策略与 2 种提示词工程变体,并使用 Perspective API 评估毒性。结果显示,提示词工程方案的表现分别比 DSFT 和 RLAIF 高出 1.8% 和 1.1%。
研究团队构建了包含 250 道题的专家评测基准,以惯性约束聚变(ICF)为案例系统评估大语言模型的物理推理与数值计算能力。测试显示,经领域自适应预训练与监督微调的专用模型 Prospero 综合得分较基础模型提升 10.7 个百分点,前沿模型虽得分最高但仍存在严重物理与数值计算错误。此外,检索增强显著改善了较小模型的表现,但对前沿模型未带来统计学显著提升。
一项针对医疗专业人员的问卷与访谈研究表明,临床与行政等不同岗位人员对医疗信息系统中机器学习算法偏见的成因、评估标准及缓解方法存在不同看法。该研究揭示了算法偏见、感知公平性与从业者对算法及生成结果采纳意愿之间的关联,相关态度亦受到从业者具体任务与算法特性的影响。
研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS,可预测特定工作负载、引擎和加速器下的首 token 延迟(TTFT)与 token 间延迟(TBT)完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型,通过集成蒙特卡洛采样替代单 trace 回放,能有效捕捉尾部延迟并评估未部署的硬件与调度策略。
研究人员提出 SkillMem,将可复用技能表示为小型外部隐式记忆,直接用于隐空间多智能体推理。该方法在 6 个评测基准和 Qwen3(4B 至 14B 参数)上验证,单项技能仅需 9.6 KB 存储。面对 100 项技能库,SkillMem 较现有方案减少超 38x 存储,并实现最高 4.23x 端到端推理加速。
研究表明 LLM 能够捕捉数学问题结构并生成接近最优解,但可靠性随维度增加而下降,并常伴随数值误差与约束违背。在凸优化、分式规划等任务中,引入针对可行性与解质量反馈的迭代细化机制,可显著提升可靠性并扩展适用维度。鉴于固有数值与结构错误,LLM 难以作为独立优化器,需结合确定性数值验证构建混合方法。
GARDEN 提出利用大语言模型(LLM)自主编写通用奖励函数,生成的单一奖励程序无需修改即可迁移用于未见过的合作多智能体强化学习(MARL)场景。在 Overcooked 未见厨房布局中,其任务回报较默认奖励提升 58.2% 和 52.5%;在 SMAX 战斗场景中将平均胜率从 51.0% 提升至 89.9%,表现优于类 Eureka 等基线方法。
研究人员提出多智能体框架 VerifiedLab,将科研记录转化为主动系统以加速下游应用与未来趋势预测。系统由负责规划、计算证据、起草与可靠性核查的多角色 AI 科学家组成,通过扩展推理期验证计算对记录逐项核验与推理。在钙钛矿太阳能电池实验中,VerifiedLab 成功复现了已知物理趋势,并提前预测出一年后报道的器件。
研究者推出科学发现评测基准 SciGame,将科学文献转换为结构化卡片,并构建成对的原始及量纲一致的反事实环境。该基准包含经典定律的历史集合与模型知识截止期后的时序集合,支持候选引导识别与开放式发现两种评估设定。对 5 款前沿模型的测试表明,熟悉先验在规律改变时会削弱表现,还原精确符号形式仍是当前的核心瓶颈。
研究人员提出脉冲储备池计算模型 HRF-Res,通过异构谐振(HRF)神经元替代传统 LIF 神经元,实现对输入频率的选择性响应。在涵盖时间序列、连续图像、音频脉冲与神经形态视觉的 10 项基准测试中,HRF-Res 达到脉冲储备池方法的 SOTA 准确率。该架构保留了事件驱动计算的高能效,能耗相比等效非脉冲振荡储备池最多降低 19x。
研究团队推出 FilingLoop,这是一个用于企业信息披露审查与修订的交互式评测基准与自进化 LLM 智能体框架。该基准基于美国 SEC 历史信函重构了 96 家公司的 380 个审查任务,并依据 6,099 条要求审计无根据声明与有害修订。在不更新模型权重的情况下,其演进机制将需求满足率从 24.28% 提升至 27.96%,全意见解决率提升至 20.75%,总成本仅增加 5.8%。
在 3 个多标注者数据集的 LLM 实验中,引入社会人口学信息在个体冒犯性预测上的收益微弱且不一致,但在群体和总体层面能带来清晰的预测提升。研究将判断显式分解为整体基线与群体特定偏差,发现对文本与人口特征交互进行显式推理能显著提高基线和偏差估计精度,效果明显优于单纯的条件输入。
研究者提出核验学习理论(Verification Learning Theory,VLT),形式化分析了精准 AI 辅助在改善即时判断的同时,如何因减少练习而影响人类独立操作能力的保留。该模型将对 AI 可靠性的感知与证据核验挂钩,预测即使 AI 未实际出错,感知其存在缺陷也能通过促进核验来提升延期独立判断表现。但在核验已被强制要求并执行的场景下该优势会消失。
一项研究基于扩展的 Khana 数据集与 7 种预训练视觉表征,评估了印度菜在卷积、Transformer、自监督及图文对齐模型中的图像检索与邻域结构。分析表明图像级邻域在不同表征间差异显著且常跨越菜品家族,聚合后的菜品级视觉结构与基于食谱计算的相似度关联较弱。结果证明食物相似度高度依赖表征形式与模态,仅靠识别性能无法充分刻画食物间的关联结构。
研究人员提出评测协议 Seq@K,用于衡量大语言模型在每次失败获得反馈后能否在 K 次连续尝试内解决问题,以形式化评估模型从反馈中迭代修正的能力。在 7 个评测基准与 16 个前沿模型上的实验显示,Seq@K 呈现出与 Pass@K 显著不同的模型排名和 Pareto 前沿,并能有效刻画模型的纠错率与回答固执度等行为特征。
研究团队推出文档基准 LibStructBench,用于评估 AI 智能体精确重构测序文库结构与分子工作流程的能力。评测显示前沿智能体在分子状态表征和工作流连通性等精确重构上依然不可靠,且更换底层大语言模型比更换智能体框架带来更大的平均性能差异。此外,自主积累程序规则未能在留出集上带来平均分子工作流的提升。
研究提出 PoPLi 行为测试方法,通过在保持语义时改变消息措辞,对比涉事与非涉事 AI 智能体的行为变化来检测私有暗号通道。在模拟市场实验中,存在暗号时 PoPLi 值为 0.48 至 0.59,无暗号时为 -0.10 至 -0.01,克服了纯文本监控器的漏报与误报问题。该方法主要检测私有通道,无法识别单纯依赖激励或语义传达的勾结。