用于 LLM 推理的稀疏强化学习松弛方法 SpaRLax
研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法,通过利用 soft-CoT 推理跨时间步的可微性,提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度,在置信度高时截断长尾噪声,不确定时保留多个候选 token。在 9 个推理基准测试中,SpaRLax 的平均性能超越了基线方法。
研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法,通过利用 soft-CoT 推理跨时间步的可微性,提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度,在置信度高时截断长尾噪声,不确定时保留多个候选 token。在 9 个推理基准测试中,SpaRLax 的平均性能超越了基线方法。
研究者提出基于逻辑熵驱动的多模态问答方法 EDMA,将问答形式化为迭代降熵过程以量化各模态的贡献。该方法包含单模态降熵估计、多模态融合及最大降熵轨迹选择三大机制。在标准 MMQA 基准上,EDMA 相比 Planning Prompting 平均提升 12.8 F1 和 4.6 LLM-J 点,相比 CoT 提升 18.6 F1 和 8.3 LLM-J 点。
研究人员提出 PORA(配对结果引导推理分配)方法,让 LLM 智能体在多步任务中根据剩余预算动态决定每次操作采用短推理还是长推理。在 BFCL memory 基准上,该方法超出最强现有基线 17.4-32.9 个百分点。在代码和数学任务中,PORA 达到或超过了全程使用长推理的效果,同时分别减少了 50.6% 的 actor token 和 31.2% 的模型请求。
研究人员推出基于 Lean 4 的基准评测 ReuF2F,包含来自本科生科研项目(REU)的 244 个形式化开放数学问题。评测采用标准代码智能体环境,将每个问题及其逻辑否定置于 Docker 容器内的 Lean 项目中,并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。
研究人员提出结合 KL 锚定均衡的策略偏好优化方法 SPOKE,用于提升紧凑型 AI 智能体在不完全信息扑克博弈中的策略水平。在 SmallThinker-4B-A0.6B 的三次测试中,SPOKE 在 Kuhn 和 Leduc 环境中取得最低的平均可被剥削度 0.213 与 1.081,并在六人桌达成最高的 top-1 一致性 0.775。
最新论文研究了多智能体协作在临床任务中能否减少模型幻觉,发现协作虽能提升任务性能,但通常不会降低推理过程中的幻觉。研究评估了单模型基线及三种多智能体拓扑在 4 个模型和 3 项任务上的表现,在 12 项显著差异中幻觉反增的情况占了 8 项,且拓扑结构并无明显优劣之分。结果表明幻觉的变化方向完全取决于底层模型自身能力,多智能体协作仅重新分配了既有能力,无法凭空弥补模型缺陷。
研究通过 7 个 STRIPS 领域解耦了经典规划中结构难度与语义理解对 LLM 的影响。免训练启发式方法 $h_{\mathrm{add}}$ 预测结构难度的表现优于学习型模型,保留状态但重命名谓词使 LLM 规划成功率从 67.5% 骤降至 40.0%。结果表明经典符号启发式已能良好评估结构难度,改进混合规划的关键在于建模 LLM 对谓词语义的敏感性。
研究者推出多模态多智能体数学推理评测基准 MAMath-Bench,包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注,从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率,且当前系统面对对抗性推理错误仍较脆弱;数据集已开放获取。
研究者提出一种用于 Lean 4 的在线步级修复模块,通过将编译器报错反馈给预训练修复模型来就地修正失败策略,而非直接丢弃。在包含 1,990 个定理的 LeanDojo 子集上,该方法相比纯采样基线实现最高 32% 的相对提升并多证明 82 个定理,且首次修复尝试即贡献了 84–96% 的总收益。该方法在 Lean Workbook 基准上同样成功复现,使求解率接近翻倍且零回归。
研究人员提出数据分析任务合成框架 DataPraxis,通过逐步丰富并组合经验证的工作区来发掘更深层分析任务,并在演进与组装阶段持续验证结果。基于该框架构建的 DataPraxis-5K 数据集包含 5,000 条跨领域轨迹,用于训练 DataPraxis-27B 与 DataPraxis-35B-A3B。
研究人员提出协同 AI 智能体框架 Navalia,结合可验证任务合成与长程后训练以解决跨文档证据整合与多步数值推理难题。该框架以企业财报为数据源构建可执行计算链,并利用独立大语言模型审查与程序化检查验证证据一致性和答案正确性,进而开展冷启动 SFT 与 RL。
研究者提出了 Binary Discrete Diffusion,一种将每个位置的噪声状态表示为二进制候选 token 集合的连续时间离散扩散模型。该方法通过增删候选集合逐步损失和恢复信息,使扩散状态能显式表达部分未确定的不确定性。
AWS 介绍了在 Amazon SageMaker HyperPod 上结合 SFT 与 GRPO 微调开源模型多语言推理能力的方法与决策框架。测试显示 SFT 将 GPT-OSS-20B 的目标语言思维链比例从 22% 提升至 100%,随后的 GRPO 在此基础上将最终回答语言准确率从 62% 进一步提升至 70%。
Cloudflare 分享了其内部 AI 代码审查系统的推理优化实践,通过重构提示词前缀缓存与调整模型配置,将单次审查成本从 2.43 美元降至 0.77 美元,审查耗时中位数从 4 分 09 秒压缩至 1 分 32 秒。
推荐理由:详细复盘了代码审查智能体的推理降本路径,提供了跨仓库共享提示词前缀缓存与压缩交互轮次的具体工程参考。
vLLM 通过双向 KV 缓存传输机制让 decode 节点将已计算的 KV 块传回 prefill 节点,避免多轮智能体场景中反复重算历史上下文。在基于 Amazon EC2 P5en 实例的 1P1D 基准测试中,该方案将 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
AWS 工程师向 vLLM 贡献了基于推送(Push-based)的 NIXL KV 传输连接器,通过将解码端块注册与预填计算重叠来优化分离式推理延迟。在 Amazon EC2 P5en 搭配 EFA 网络运行 Qwen3-32B 的测试中,推送模式相比传统拉取模式使首字时间(TTFT)最高降低至三分之一,每输出 token 时间(TPOT)改善最多 30%。
研究人员提出长上下文指令数据处理框架 LongForge,将样本反向重构成证据-断言推理图,从广度、深度、正确性和完整性四个维度进行可追溯的质量评估与生成控制。评估 7 个主流数据集发现,数据广度几乎不随文档长度增长且深度普遍偏低。在两个骨干模型上,其生成的 LongForge-1 和 LongForge-N 在 6 个长上下文基准上平均超越最强基线 2.2-4.7 分。
研究人员针对大语言推理模型在 GRPO 安全对齐中出现的优势崩塌与不安全多样化问题,提出了对齐框架 Beacon。该框架通过安全信号恢复(SSR)重构有效学习信号,并利用安全与效用解耦对齐(SUDA)缓解过度拒答。在 4 个 Qwen3 与 DeepSeek-R1-Distill 变体及 8 个基准测试中,该方法将平均安全错误率最多降低了 32.83 个百分点。
新提出的 CPU-GPU 协同 MoE 推理系统通过自适应专家分配解决显存受限瓶颈,将高 token 负载的未命中专家转移至 GPU 执行、低负载专家留在 CPU 计算。该方案动态平衡 CPU 与 GPU 路径耗时,在 3 款代表性 MoE LLM 测试中,相较最强 baseline 将 prefill 速度提升最高 51.9%,decode 吞吐量提升最高 39.5%。
研究者提出了自适应隐式推理框架 Sep-Latent,利用分隔符 token 作为结构语义锚点来压缩推理逻辑并允许动态推理深度。该方法通过引入 Attention-Decay 机制聚合推理逻辑,并通过跨所有层的多级知识蒸馏对齐显式与隐式路径。在 GSM8k-Aug 基准评测中,Sep-Latent 仅用平均 5.4 个 token 就实现了 56.8% 的准确率。
研究者提出 Evo-B&B 框架,利用大语言模型和端到端 SCIP 求解反馈,联合进化混合整数线性规划(MILP)中紧密耦合的分支与节点选择策略。该框架引入行为感知多岛进化机制,通过固定决策状态上的行为相似度来维持种群多样性并减少冗余评估。在 4 个标准 MILP 基准测试上的实验表明,Evo-B&B 取得了具竞争力的求解性能,并能良好泛化至更大规模的算例。
一项新研究评估了 15 种图表示格式在 9 种前沿大语言模型配置下的表现,涵盖基于本体的知识抽取与结构化图推理任务。实验表明,知识抽取对序列化格式相对不敏感,但最优格式的选择会显著影响结构推理任务的准确率。研究发现最佳表示方式取决于模型、查询和任务,并提出将图序列化作为一项动态编排决策。
研究人员推出基准评测 GlobeBench,包含跨 5 个领域和 19 项模拟技能的 1,632 个任务,用于评估基于文本的世界模型预测环境状态转移的能力。在评测的 20 款通用 LLM 与专用模型中,GPT-6 Astra 以 49.57% 的任务成功率位居第一。当动作变更需传播到相关联对象时,所有模型平均成功率降至 5.1%,且有 631 个任务未被任何模型攻克。
研究人员在 Lean 定理证明中测试了 Qwen3.6-27B 与 DeepSeek-Prover-V2-7B,发现让模型看到上一轮失败证明会降低成功率并加剧抄袭,而编译器错误诊断仅能部分弥补该损失。在 MiniF2F 困难问题及多达 64 次尝试的序列实验中,任何单步反馈条件在相同 token 预算下均未超越仅靠指令的独立重采样。验证器反馈虽能改善修复,但无法克服因参考失败尝试带来的性能损耗。
研究团队提出一种基于 Gemini 的智能体流程,结合模式识别、数学猜想、非形式化推理与 Lean 形式化定理证明,实现了图灵机加速规则的自主发现。该系统在不可计算的忙碌海狸 BB(6) 探索中,自主发现并形式化验证了 11 台图灵机的类 Collatz 加速规则,将其暂定归类为停机行为未决的 Cryptids。该成果展示了自主 AI 系统在前沿开放式数学发现与理论计算机科学领域的应用潜力。
推荐理由:论文将大语言模型推理与 Lean 形式化证明相结合,为智能体在不可计算领域自主探索数学结构提供了可参考的流程框架。
研究人员提出规约修复框架 DRAGO,通过确定性、特定形式体系的诊断与无参考接受谓词来纠正 LLM 生成的语义错误形式化规约。在涵盖 SMT-LIB2、MiniZinc 和 PDDL 的五个基准测试中,DRAGO 将回归率从纯 LLM 诊断的 11.8% 降至 1.3%,平均答案准确率比零样本形式化提升 12.9 个百分点、比 LLM 诊断修复提升 8.7 个百分点。
一项新研究针对语言学与语用推理现象构建基准测试,发现大型推理模型在偏离形式逻辑规则的日常推理任务中表现明显退化。在受控提示条件下,部分搭配思维链的非推理模型在日常推理上的表现甚至优于同等规模的推理模型,且额外提示词指令对其推理行为的调控作用十分有限。研究指出当前测试时计算驱动的推理模型难以可靠覆盖日常推理,反映出后训练阶段的不足。
一项新研究基于隐藏的 PDDL 形式语义模型,跨 5 个领域系统检验了 LLM 智能体的真实规划能力。实验测试了 4 个模型、6 种提示策略与 3 种架构,结果显示最佳配置离线仅解决 78% 的可解任务,在线环境下骤降至 40%,且对不可解任务的识别率不足 10%。较重的提示策略消耗多达 5 至 22 倍 token 却无明确收益,规划表现的差异主要来自模型本身而非策略或架构。
推荐理由:研究通过形式语义评测揭示了智能体在线规划的局限,为衡量复杂提示策略和智能体架构的真实收益提供了验证基准。
研究人员提出了 PRIME 框架,用于规范大语言模型智能体在审核记录时的推理过程。PRIME 在检查前预设证据路径,并通过独立程序记录检查结果,直接拒绝缺乏依据的结论,同时引导智能体或自行执行检查以得出更强的结论。在 480 项公开记录任务测试中,基线智能体在 26.7% 的任务中给出了无根据结论,而 PRIME 为零,并将合理结论的平均得分从 30.1 分提升至满分 59.2 分。
研究团队提出长程 GUI 智能体框架 ECHOES,采用 CTA(压缩-思考-行动)格式递归更新文本历史状态,并通过特权多图教师模型进行 token 级策略内蒸馏。配套的 PMF Gap 引导强化学习动态平衡蒸馏与任务奖励,同时构建了诊断基准 ECHOESBMK。部署时不保留历史截图即可在 4 个 GUI 基准上实现高表现与低推理成本,且支持零样本规划迁移。
研究人员提出了基于显式事件图的事件推理系统 ERS,通过分层规则组合在显式状态上实现可解释推理与依赖保留修订。在结构化事件图测试中,ERS 可构建长达 12 步的依赖链,在前瞻步数增至 16 时将无关领域操作从 32 降至 0,并在 24 个负例中均未生成无支持的目标输出。在 14 项联合求解的开发任务中,其动态子目标配置比单层全局控制减少了 51.6% 的推理实际耗时。
研究者提出 RAW-Explainer(Random Walk Explainer),这是一种专为路径推理 GNN 设计的事后解释方法,可为知识图谱补全中的链接预测生成连通、简洁且可解释的子图。该方法结合异构信息与随机游走目标,并引入鲁棒评估器解决解释子图远小于全图时的分布偏移问题。标准基准测试表明其兼顾了解释质量与计算效率,代码与数据已公开。
研究者提出一个将因果模型与数据生成过程解耦的形式化框架,系统形式化了现实行动映射到模型干预的解释过程。研究证明了一项不可能结果:不存在既能同时满足多项理想性质又保持非循环的解释方式;在循环解释下,任何拟合观测分布的模型都具备干预有效性且无法被实验证伪。该框架为分析因果发现、因果表征学习和因果抽象等领域的经验内涵提供了理论工具。
研究者提出 GR-OPD(Group-Relative On-Policy Distillation),将 token 级教师反馈聚合为校准后的序列级信用,以解耦反馈计算与信用分配。
研究人员系统解构了循环大语言模型中的拓扑结构、输入注入和循环状态设计,证实 Huginn 架构在 730M 参数及 336B token 规模下全面优于 Ouro。
研究提出并发约束强化(CCR),将 3 个独立可验证问题置于单一上限训练生成中,通过共享预算促使模型在无显式长度惩罚下缩短推理。
研究人员提出名为 CADENCE 的上下文自适应解码方法,通过高斯预测头将未来片段表示为连续潜在向量,并利用可学习路由动态选择预测长度,实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中,该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。
最新研究评测了前沿大语言模型预测机器学习实验结果的能力,发现模型预测水平显著优于随机猜测但仍远不够准确。研究基于 MLE-bench 构建了包含 288 个实验构想的数据集并测试了五款前沿模型,表现最好的 Claude Opus 5.5 解释方差仅为 R²=0.49,且所有模型均系统性低估了变动幅度。团队已公开该数据集以支持递归自我改进等相关研究。
研究者提出面向扩散语言模型(DLM)的投机解码方法 SPOT,利用仅 0.62M 参数的模型预测位置提交顺序并构建候选树以实现加速。配合耦合噪声匹配验证机制,SPOT 在任意温度下支持树状投机,使目标模型计算 pass 减少最高 6.8x,吞吐量提升高达 3.2x。实验显示其在 T=0 与 T=1 下均优于现有基准,且起草模型可成功迁移至 6 种不同 DLM。
研究在 3 个多轮智能体基准与 3 种不同规模和推理模式的学生模型上评估了 16 种特权信息(PI)配置,发现信息密集轨迹和更强生成源能带来更大增益,而思考模型获益相对不稳定。