Ask to Distill:面向同策略知识蒸馏的数据合成框架
研究人员提出 Ask-to-Distill 框架,无需参考答案或正确性奖励,通过冻结的学生与教师模型计算分布代理奖励,学习合成用于同策略知识蒸馏(OPD)的高价值问题。该方法在数学推理、代码生成和智能体任务中提升了平均表现与教师差距恢复率,匹配或超越了真实题库的 OPD 效果,相关代码、数据和模型已公开。
研究人员提出 Ask-to-Distill 框架,无需参考答案或正确性奖励,通过冻结的学生与教师模型计算分布代理奖励,学习合成用于同策略知识蒸馏(OPD)的高价值问题。该方法在数学推理、代码生成和智能体任务中提升了平均表现与教师差距恢复率,匹配或超越了真实题库的 OPD 效果,相关代码、数据和模型已公开。
研究人员提出 RiseHarness 框架,在模型权重固定的前提下迭代优化 Agent 交互支架,解决长周期终端智能体在多次运行中表现不稳定的可靠性问题。该框架聚焦在同配置下既有成功又有失败的任务,将成功轨迹作为参照并结合运行时监控来排查命令执行与上下文管理中的共性缺陷。候选改进方案经过行为检查和重复评估后进入下一轮迭代,多模型测试验证了其在未见基准上的迁移效果与成功率提升。
研究人员提出了 KPHarness,通过知识与探测协同演化来适配冻结视觉-语言-动作模型的外部执行框架。该框架将快速策略执行与慢速研究循环解耦,基于沙盒对比评估生成框架修订,并将验证后的恢复策略跨任务复用。在涵盖挖矿、战斗和合成的 Minecraft 任务及未见任务测试中,其任务覆盖率与完成度均优于固定框架及仅靠知识演化的基线。
研究指出 LLM 智能体若持久化存储抽象规则会导致错误不断循环复现,为此提出仅保留原始轨迹并在按需合成指引后即弃的 Anti-Persistence 架构。该机制通过自适应选择器根据过往结果决定是否重构指引,并在执行后销毁以阻断错误沉淀。跨基准与多款主干模型的评测显示,该方案取得了更高的测试成功率与最低的平均 LLM 调用成本。
推荐理由:针对智能体记忆中错误抽象不断自我固化的弊端,提出用后即弃的按需重构架构,对设计自改进智能体有直接启发。
研究者提出 ProMemAgent,这是首个在日常感官上下文中引入前瞻记忆以实现长周期主动式辅助的 AI 智能体。该系统将第一人称视角的音视频等感知信息组织为上下文感知记忆并生成前瞻线索,结合当前环境检索并推理以判断是否需要提供主动辅助。
研究人员通过数学证明解决了高维多值因果概率(PoC)界的紧确性问题。研究进一步表明,PNS、PSub、PRep 和 PN 均是单一通用公式的特例。结合其等价类,该成果通过单一闭式定理给出了任意维度下离散因果概率基于实验与观测数据的紧确界。
研究发现在 e5-base-v2、BGE-M3 和 EmbeddingGemma-300m 的 4-bit 权重量化中,PTQ 校准更新剂量过大会导致模型性能灾难性下降,在 EmbeddingGemma 上的 NDCG@10 变动幅度达 +1.47 至 -71.53。
研究人员提出 Guided-AP 方法,通过少量精确测量揭示归因修补(Attribution Patching)的误差结构并校正未测量的估计值。在单个提示词上,该校正方法在三种行为中将误差最多降低 26%;在多提示词任务中,所学习的校正将事实补全(factual completion)平均效应的误差降低了 75% 至 79%。
研究者提出面向编程 Agent 的可复用经验记忆框架 REM,从 Agent 的思考-行动循环内部管理记忆生命周期。该框架将完成的轨迹压缩两个数量级存为分阶段文档,按需在任务启动或 Agent 受困时分级召回,并在单次曝光后逐出高成本记录。
研究人员提出了多智能体框架 COMPASS 的法律合规子智能体 ComplianceAgent,利用 LLM 根据固定量规对文本进行合规打分并基于参考法律语料库做出判断。当得分达到或低于临界阈值时,该智能体会触发自愈重写、合规标签、可解释性报告以及转交人工审核的纠错链。在包含加拿大联邦、魁北克省及三河市等 13 部法律文书和 15 篇标注文本的测试中,该智能体成功区分了所有合规与非合规文本。
研究人员提出科研进展图(RPG),通过带时间索引和推理标注的认知转换连接不同研究状态,用于表征真实且完整的研究轨迹。对比 35 个基于 LLM 的科研 Agent 发现,现有 Agent 均无法完整记录改变的状态、证据及背后的推理链条。RPG 推动 Agent 从生成静态科研想法转向预测下一研究状态,并将构思过程作为完整轨迹进行评估和训练。
研究人员提出无监督工具演化框架 TEAL,能在无标注数据下为数据湖分析编程 Agent 自动构建并优化工具库与使用技能。在 KramaBench 和 LakeQA 基准测试中,TEAL 在严格步数限制下全面提升了 4 种 Worker LLM 的表现,使 Sonnet-5 在 15 步限制下的得分分别提升 9.3 分与 21.7 分。此外,基于合成问题生成的工具库表现与真实问题相当。
研究提出长程工具调用基准框架 TURTLE,通过提议器、求解器与反馈生成器三类 LLM 智能体协同进化任务,实现评测集的自调优与规模化生成。在 Gemma 4 31B-it 上的实验显示,该方法在 AppWorld、$\tau$-Bench 和 AutomationBench 中显著增加了任务多样性,使 AppWorld 高难度任务占比提升 165%,并激发了更广泛的失效模式。
研究者提出一种可观测证据标准,通过将行动机会、执行计划变化与运营结果等维度分离,解决工业 AI 规划系统中新增能力的归因难题。在 Favorita、M5 和 Walmart 数据上的回放测试显示,某控制项在 681 个执行计划中仅改变了 15 个,且某多周期能力在产能紧张时成本反增 7.6%。该标准生成的证据记录可直接支持验证、部署范围、回退与退役等决策。
arXiv 发布的新研究通过分析 36 年间 720 万篇计算机论文与 370 万名研究者的数据发现,越强大的 AI 突破越会导致集体注意力过度集中,从而加速后续创新的枯竭。
针对安全多智能体强化学习(SMARL),新研究提出了推理期观测攻击框架 MinMax Attack,在扰动受害智能体动作的同时考量良性智能体的协同抵抗。该研究推导了诱导安全成本的理论界限,刻画其与受害智能体预算及扰动预算的关系。基准实验表明,MinMax Attack 在保持任务奖励以降低可检测性的同时,诱导了显著更高的安全成本。
研究人员提出基于执行驱动交叉验证的协作测试时扩展框架 TEX,用于提升语言模型在长程任务中的测试用例生成能力。该框架并行化智能体生成测试与补丁,通过交叉执行构建 K×K 反馈矩阵指导智能体优化方案。在 SWT-Bench Verified 上,TEX 取得 86.4% 的 SOTA 成绩,相比单智能体基线提升 9.0%,且随机选择输出达 84.4% 同样超越此前 84.0% 的 SOTA。
研究人员提出具身虚拟大鼠训练系统 SCAMPER,使具身模型在目标导向行为和随机探索中均能产生自然的运动。该系统采用变分架构,结合用于控制的运动先验和用于探索的行为先验,有效利用任务结构并生成逼真行为。得益于行为先验引发的多样化动作,SCAMPER 能在稀疏奖励下学习,适用于模拟实验神经科学中的真实任务。
研究人员推出交易事件序列分析问答基准 TxnQA,涵盖 27 个任务族及 5 场景欺诈风险推理套件,用于评估模型判定与支持证据。评测显示 Gemma-4-31B-IT 与 Qwen3-8B 的端到端正确率(E2E)分别达 0.867 和 0.816,优于 MoE 模型的 0.632-0.713。在 500 个样本的欺诈套件中,判定准确率常超 80%,但要求精确证据归因的联合准确率最高仅约 23%。
研究团队发布统一的大语言模型智能体评测基准套件 EGI-BENCH,整合了 CRMARENA、MCP-UNIVERSE、LOCOBENCH 等 8 个企业级智能体评测,并通过单一命令行界面提供两种运行时预算执行模式。
研究人员推出了面向计算化学的持久记忆 AI 智能体框架 Magnolia,依托 LLM 整合分子对接、分子动力学及量子化学等计算流程。该框架采用三层记忆系统,可将单次会话观察提炼为项目条目,并经人工验证提升为跨项目规则以指导后续工作。测试中 Magnolia 跟踪了 317 次运行并沉淀 116 个项目条目,在对接配置检查中取得 10/10 通过率,远高于无记忆运行的 1/10 至 4/10。
研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法,通过利用 soft-CoT 推理跨时间步的可微性,提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度,在置信度高时截断长尾噪声,不确定时保留多个候选 token。在 9 个推理基准测试中,SpaRLax 的平均性能超越了基线方法。
针对组合增量学习中的基元表征漂移问题,研究者提出了参数高效方法 LSA-PAST。该方法将 LoRA 集成到冻结的 ViT 中,通过 LSA 为状态、物体和组合构建深度专用的适配器,并通过 PAST 借助无重放仿射变换将历史原型映射至当前适配器空间。实验表明,LSA-PAST 在组合增量学习中取得了 SOTA 的准确率与抗遗忘权衡表现。
研究人员提出 MoSAIK,利用卷积嵌入与 Transformer 编码器直接从标准 TSE k 空间回顾性估计面内刚体运动,无需无运动参考或额外采集。其旋转与平移估计的 MSE 均低于 0.2,皮尔逊相关系数分别约 0.96 和 0.94。在活体测试中,超 75% 的切片较未校正重建实现信息增益,有效减少伪影并保留了解剖细节。
研究者提出基于逻辑熵驱动的多模态问答方法 EDMA,将问答形式化为迭代降熵过程以量化各模态的贡献。该方法包含单模态降熵估计、多模态融合及最大降熵轨迹选择三大机制。在标准 MMQA 基准上,EDMA 相比 Planning Prompting 平均提升 12.8 F1 和 4.6 LLM-J 点,相比 CoT 提升 18.6 F1 和 8.3 LLM-J 点。
研究人员提出 PORA(配对结果引导推理分配)方法,让 LLM 智能体在多步任务中根据剩余预算动态决定每次操作采用短推理还是长推理。在 BFCL memory 基准上,该方法超出最强现有基线 17.4-32.9 个百分点。在代码和数学任务中,PORA 达到或超过了全程使用长推理的效果,同时分别减少了 50.6% 的 actor token 和 31.2% 的模型请求。
研究人员提出 PROVISO 控制器,在 LLM 智能体提出动作后且执行前决定最终提交的动作,以提升智能体安全性并平衡效用。它将可信观测、外部观测、提议动作及备选动作编码进带溯源类型的记忆中,通过角色特定查询进行关联,并提交校准值最高的动作。在 SkillsBench 和 ToolSafe 上,PROVISO 的 F1 分数分别比最强基线提升 13.84 和 7.07 分。
研究人员提出免训练框架 Omni-Woodpecker(OWP),通过跨模态冲突检测与隐藏状态正交分解,在解码前抑制误导性先验并恢复有效证据,从而修正 Omni LLM 的跨模态模型幻觉。
研究人员推出面向临床病历的 4B 参数决策模型 CS1-4B,可在单次前向传播中快速回答多个定型临床问题并输出置信概率。该模型基于 360 万名患者的 1240 万组问答训练,在保留测试集的大多数任务中超过了参数量高达 27B 的开源模型,推理速度提升 6.4 倍。在与语言模型智能体协同筛选临床试验候选人时,该方案相比大语言模型全量阅读病历节省了 690 倍 token。
研究人员推出基于 Lean 4 的基准评测 ReuF2F,包含来自本科生科研项目(REU)的 244 个形式化开放数学问题。评测采用标准代码智能体环境,将每个问题及其逻辑否定置于 Docker 容器内的 Lean 项目中,并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。
该学术专著为物理 AI(Physical AI)建立了统一框架,将其定义为在真实世界约束下通过持续反馈来感知、建模并作用于物理世界的人工系统。全书共 12 章、388 页并包含 64 张图表,梳理了多模态感知、世界模型、具身基础模型及软硬件协同设计等核心方法。内容重点探讨了从仿真到真实世界迁移、实时执行与安全性等挑战,旨在推动其迈向物理通用人工智能(Physical AGI)。
研究人员提出即插即用的闭环多智能体框架 M-Plan,通过整合长短期记忆与全局-局部引导,提升 LLM 智能体长周期多轮任务的决策与推理能力。执行过程中智能体依托里程碑与局部提示构建短期记忆,任务结束后信息经优化重组再写入长期记忆库。在 ALFWorld、Webshop 及 PDDL 上的多模型实验表明,M-Plan 在准确率和效率上均优于基线方法。
研究人员提出结合 KL 锚定均衡的策略偏好优化方法 SPOKE,用于提升紧凑型 AI 智能体在不完全信息扑克博弈中的策略水平。在 SmallThinker-4B-A0.6B 的三次测试中,SPOKE 在 Kuhn 和 Leduc 环境中取得最低的平均可被剥削度 0.213 与 1.081,并在六人桌达成最高的 top-1 一致性 0.775。
最新论文研究了多智能体协作在临床任务中能否减少模型幻觉,发现协作虽能提升任务性能,但通常不会降低推理过程中的幻觉。研究评估了单模型基线及三种多智能体拓扑在 4 个模型和 3 项任务上的表现,在 12 项显著差异中幻觉反增的情况占了 8 项,且拓扑结构并无明显优劣之分。结果表明幻觉的变化方向完全取决于底层模型自身能力,多智能体协作仅重新分配了既有能力,无法凭空弥补模型缺陷。
研究人员提出了 SPEM,一种面向 LLM 智能体的轻量级结构感知程序性记忆框架,以解决技能库规模扩大带来的高 token 与运行开销问题。该框架维护原子技能记忆与可复用的 Skill-DAG 记忆,并利用 Skill-GNN 进行状态和结构感知的技能选择与回写积累。
研究通过 7 个 STRIPS 领域解耦了经典规划中结构难度与语义理解对 LLM 的影响。免训练启发式方法 $h_{\mathrm{add}}$ 预测结构难度的表现优于学习型模型,保留状态但重命名谓词使 LLM 规划成功率从 67.5% 骤降至 40.0%。结果表明经典符号启发式已能良好评估结构难度,改进混合规划的关键在于建模 LLM 对谓词语义的敏感性。
研究人员提出轻量级统一多领域多模态对话推荐框架 LightCRS,通过离线预计算商品表征,线上仅用 5.3M 参数的模块融合特征并共享跨领域参数。在涵盖 25 个领域的 MM-R2A-25 基准评测中,LightCRS 的 HR@1 相比最强基线提升 35.4%,同时单次查询延迟降低 266 倍。联合多领域训练也使 HR@1 比单领域独立训练模型提升 15.2%。
研究者推出多模态多智能体数学推理评测基准 MAMath-Bench,包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注,从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率,且当前系统面对对抗性推理错误仍较脆弱;数据集已开放获取。
研究者提出一种用于 Lean 4 的在线步级修复模块,通过将编译器报错反馈给预训练修复模型来就地修正失败策略,而非直接丢弃。在包含 1,990 个定理的 LeanDojo 子集上,该方法相比纯采样基线实现最高 32% 的相对提升并多证明 82 个定理,且首次修复尝试即贡献了 84–96% 的总收益。该方法在 Lean Workbook 基准上同样成功复现,使求解率接近翻倍且零回归。
针对智能制造中动态环境、复杂物理约束与高可靠性要求等挑战,该综述系统梳理了 LLM 驱动的工业 AI 智能体技术体系。文章分析了五大核心挑战,建立了涵盖应用场景、具身形式与五个能力等级的统一分类法。研究进一步提出了用于闭环任务执行的四层系统架构,并梳理了工业全生命周期的代表性应用与未来方向。