SWEAR：通过自评难度实现分段高效音频推理
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR，通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号，并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明，SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
#推理
#推理
今日 1 条arXiv cs.AIAI 评分3333 arXiv cs.AIAI 评分5050 研究揭示大语言模型安全通路：注意力层识别危害，MLP层执行拒绝
研究团队揭示了大语言模型的内部安全通路机制，证实注意力更新主要负责识别有害信息，而 MLP 更新则主导拒绝响应的写入。在涵盖 Qwen、Llama 和 Gemma 的 18 对模型评测中，后训练显著增强了深层 MLP 的拒绝写入能力，且在推理模型中拒绝写入集中于回答起始阶段。
arXiv cs.AIAI 评分4242 LongHarness：通过状态化证据管理推进 100M-Token 语料上的智能体推理能力
模型无关框架 LongHarness 通过状态化证据管理显式化证据与演进结论的交互，推进超 100M-Token 语料库上的智能体长上下文推理。
arXiv cs.AIAI 评分3838 人机反馈循环中感知信息溯源的信念更新研究
研究提出 LQET 训练方法，使大语言模型能依据证据溯源谱系而非报告数量更新信念。在受控二元基准中，LQET 在千问（Qwen3-4B）与 Phi-4-mini 上将新证据更新 RMSE 降低 41-44%，8 步中继后的对数几率漂移降低 89-91%。该收益在闭环模拟中同样成立，确保模型信念变化取决于新证据而非内容重复次数。
arXiv cs.AIAI 评分3434 MathVis：AI 能通过绘图进行推理吗？数学图表生成评测基准
研究人员推出 MathVis 评测基准，包含 512 个任务，用于评估大语言模型可视化前沿数学问题及图表辅助推理的能力。在严格评测中，GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 分数分别为 31.25%、26.56% 和 22.85%。
arXiv cs.AIAI 评分3535 少训多学：基于不确定性引导渐进收缩的高效推理后训练框架
研究人员提出一种基于不确定性引导的渐进收缩框架，通过围绕中间推理状态构建蒙特卡洛推理树揭示过程级不确定性，将监督与优化聚焦在最具学习价值的轨迹上。该框架先将语料收缩为紧凑的教师数据池，再在 SFT 期间根据学生模型状态进行在线路由优化。实验显示该方法仅需全量数据 SFT 0.22% 的优化预算（训练暴露减少超 450x），即可保持甚至提升推理性能。
arXiv cs.AIAI 评分3333 基于模型切片的协同学习与推理
研究人员提出协同学习方法，通过构建异构协作模型并学习跨模型协同机制，解决单一大语言模型容易出现错误传播和推理盲点的问题。该方案利用模型切片在相近参数预算下将大模型拆为较小异构模型，并结合金字塔监督优化推理与交互决策。在多跳问答、数学推理、代码生成及开放式约束生成等任务中，该方法性能媲美或超越原大模型与主流多智能体基线，同时推理效率更高。
arXiv cs.AIAI 评分4242 协同心智理论（CToM）：让 LLM 通过预判用户反馈实现自我修正
研究人员提出协同心智理论（CToM）框架，通过训练大语言模型预判用户回复并据此引导内部自我修正，结合 GRPO 优化多轮协作任务表现与交互效率。在协作数学推理任务中，CToM 相比原生 GRPO 将最终准确率从 74.1% 提升至 79.6%。消融实验显示，增加预测监督使代码任务的用户回复轮数减少 8%，写作任务减少 17%。
arXiv cs.AIAI 评分4343 MagicBeanStalk：通过递归数据合成摆脱 RLVR 的零优势陷阱
研究人员提出递归数据合成算法 MagicBeanStalk，通过自顶向下分解与自底向上递归合成，在保留推理蓝图的同时生成难度校准的训练题目，以解决 RLVR 中约 88% 问题全对或全错导致的零优势陷阱。
arXiv cs.AIAI 评分5656 SpireBench：利用《杀戮尖塔》评估智能体长程策略推理能力的基准测试
研究团队推出评测基准 SpireBench，通过让大语言模型运行完整商业游戏《杀戮尖塔》（Slay the Spire）来评估其长程策略规划能力。在游戏最高难度下测试 20 款大语言模型发现，前沿模型表现可达人类平均水平但远低于专家，且随流程拉长会在局内成长和风险决策上暴露出过度保守的缺陷。测试还通过术语重命名与跨局记忆分析证实，模型部分成绩依赖游戏先验知识，而跨局自写的记忆经常出错且未带来提升。
arXiv stat.MLAI 评分3434 基于分组二次核的离群感知注意力线性化方法 OAL
研究人员提出离群感知注意力线性化方法（OAL），通过将贡献尺度相近的维度分组共享系数并单独处理少数离群维度，构建对序列长度具备线性复杂度的正二次核近似。在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%。
arXiv stat.MLAI 评分4545 对 LLM 测试期锐化中幂采样的批判性审视
用于 LLM 测试期锐化的幂采样在现实算力下难以收敛至目标分布，其收益大多可通过简单的 Best-of-N 结合适当评分复现。即使通过微调让模型直接拟合目标分布，带来的性能增益也充满噪声且不稳定。幂采样的实际价值不在于精确逼近目标分布，而仅在于提取基座模型已判定为高概率的序列。
arXiv cs.AIAI 评分3434 ReTeach：通过多轮反思与重试构建自教师
研究提出反思性自我蒸馏框架 ReTeach，仅利用模型自身的生成尝试与结果级验证，通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏，在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中，ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
arXiv cs.AIAI 评分3737 Fed-GRPO：基于奖励信号驱动的联邦群体相对策略优化框架
研究人员提出 Fed-GRPO 联邦训练框架，利用 GRPO 训练中天然生成的奖励统计作为零成本信号，无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明，Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能，可无损降低 32x 通信量，且在紧缺带宽下支持高达 621x 压缩。
arXiv cs.AIAI 评分4242 从思维链到循环：基于循环 Transformer 的非自回归隐式推理
LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区，实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中，LLoCoT 取得受测方法最高均分，准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT，LLoCoT 将推理阶段延迟降低约 42 倍，首个回答 token 生成时间缩短约 36 倍，端到端吞吐量提升 9.2%。
arXiv cs.AIAI 评分4949 追踪编程智能体玩 ARC-AGI-3 的思维轨迹：对持续学习的启示
一项研究通过让基于冻结基础模型的编程智能体挑战交互式推理基准 ARC-AGI-3，提出了一套通过脚本与笔记追踪其思维轨迹的度量协议，白盒分析其持续学习机制。在 2 个模型家族中 3 个骨干模型的 7 次评估显示，跨任务调用的脚本仅占 33/630，智能体会遗弃 74% 的已有脚本并重写通用规则，笔记亦只追加不修改。
arXiv cs.AIAI 评分3535 真实社交场景中从起因到后果的认知导向情感追踪
研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench，基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类，常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER，在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。
arXiv cs.AIAI 评分3838 RaReCache：基于秩不一致选择性重计算弥补跨模型 KV Cache 复用差距
RaReCache 框架通过基于秩不一致的选择性重计算，支持大模型直接复用小模型预填充的 KV cache。在 Qwen3-0.6B 至 14B 上仅需重计算 30% 位置即可保留 95-99% 精度，在 Llama3-8B 至 70B 上重计算 40% 可保留 96.5% 精度。
arXiv cs.AIAI 评分3434 RL-ARC：通过推理引导的不确定性校准大型推理模型
研究人员提出校准感知训练框架 RL-ARC，通过联合利用推理置信度与答案置信度来校准大型推理模型。该方法将推理置信度作为辅助信号，在正确样本上应用推理引导正则化，并在错误样本上施加过度自信惩罚。分布内（ID）与分布外（OOD）实验表明，RL-ARC 在不明显牺牲推理性能的前提下改善了模型校准，并实现了自适应置信度估计。
arXiv cs.AIAI 评分3636 SynCo：基于多智能体强化学习的自进化 LLM 数据合成协同训练框架
研究人员提出基于多智能体强化学习的自进化 LLM 数据合成协同训练框架 SynCo。该框架联合优化两个独立参数化的智能体：Synthesizer 根据能力状态构建训练任务，Reasoner 则从中学习并提供互补奖励，实现解题策略与训练分布的共同演进。在 8 个数学推理基准测试中，SynCo 显著优于现有合成数据方法和对照基线，大部分收益源自此前未解决的问题。
arXiv cs.AIAI 评分5050 DuplexAgent-RSI：面向全双工语音智能体协作的递归 Harness 改进框架
研究人员提出了全双工语音协作系统 DuplexAgent 及其闭环改进框架 Duplex-Harness-RSI，将语音交互与异步委派任务的协调逻辑解耦为六个可编辑模块。系统利用模拟器自动生成带时序的测试对话，并通过委派池中的推理大语言模型与编码智能体自动诊断失败轨迹并更新模块配置。实验表明，该系统在保持低延迟打断响应的同时，提升了口语知识问答与可执行工具调用的评测表现。
arXiv cs.AIAI 评分3737 基于可能性推理的开放式科学发现研究
研究者利用可能性理论将大语言模型驱动的开放式科学发现形式化为溯因自主科学发现（AASD）问题。该研究提出了可量化发现进展的溯因效用指标，以及首个 AASD 算法——可能性前沿搜索，在保持随时有效性的同时渐进实现 ε-最优溯因效用。合成与真实世界科学发现任务的实验表明，该方法展现出强劲的性能表现。
arXiv cs.AIAI 评分3333 GameCommBench：AI 游戏解说的统一评测基准与类型感知评估框架
研究者提出了 GameCommBench 评测基准与 TACE 评估框架，旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能，并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均，其中现场实时观察与策略分析是当前的核心瓶颈。
arXiv cs.AIAI 评分3434 推理强化学习轨迹生成：平衡参考引导与自由生成
研究提出自适应参考引导（ARG）方法，在固定生成预算下平衡参考前缀引导与自主生成，用于解决推理强化学习在 GRPO 全失败组中的轨迹构建难题。在 Qwen3-4B 与 Qwen3-8B 上的 5 个数学推理基准测试显示，ARG 在受评方法中取得最高的综合 pass@12，同时保持了有竞争力的平均采样准确率。
arXiv cs.AIAI 评分4545 OpenProblemBench：评估 AI 解决基础理论科学开放问题的评测基准
研究团队推出包含 82 个数学与理论物理未解决问题的评测基准 OpenProblemBench，由 4 个评估器模型在无参考解情况下独立评估 AI 的求解能力。在 7 种评测配置中，GPT-6-Astra 取得了最高的 14.0% 平均解决率，被评测的全尺寸开源模型为 5.5-6.7%，Flash 模型则为 2.4-3.7%。
arXiv cs.AIAI 评分3535 学习以指数级更少空间进行规划搜索
研究提出利用语言模型在反例引导循环中学习索引策略，实现仅需多项式空间且无需维护已访问状态列表的规划搜索。在 IPC 2023 Learning Track 与 Autoscale Agile 的 1,890 项测试任务中，该方法成功解决 1,709 项，求解量超过 LAMA、BFWS 与 Levitron，且多数任务在 1 秒及 100 MiB 内完成。
arXiv cs.AIAI 评分4444 Plan-and-Patch：面向智能体规划的扩散语言模型框架
研究提出 Plan-and-Patch 智能体规划框架，利用扩散语言模型并行生成结构化计划，并在固定前后步骤的前提下局部修复计划。在未经特定训练的 Natural Plan 上，扩散规划器 DreamReasoner-8B 的计划修复成功率达 53.7%，接近自回归模型 Qwen3-8B（27.0%）的两倍。
arXiv cs.AIAI 评分3737 Agentic AI 的验证与自我改进：基础与理论极限
研究者提出了一个基于有界验证与隐蔽终端随机性的理论框架，用于形式化分析 Agentic AI 系统的验证能力与自我改进极限。研究证明，在统一完备解释器与固定验证协议下，一致有界的递归自我修改仍严格保留在同一验证复杂度类内。框架还将自我改进声明与正确性、容许证据及条件选择误差控制等要求直接绑定。
arXiv cs.LGAI 评分4343 衡量与缓解 RLVR 中的解题模式坍缩
研究指出 RLVR（可验证奖励强化学习）后训练会导致解题模式坍缩，使模型概率集中在少数正确解法上，并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式，Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下，该方法同时提升了策略成功率与解题多样性。
arXiv cs.LGAI 评分3535 Invariant-Measure Reasoners：面向隐式推理的稳定表示
研究人员提出不变测度推理器（ImR），通过引入不变测度作为稳定表示，解决隐式推理模型在不同循环深度下预测不稳定的问题。该框架描述潜状态在循环块更新下的长期分布，并根据预测头在该测度下的输出期望进行预测。在迷宫和数独任务中，无论是仅微调现有预测头还是从头训练，ImR 均有效降低了预测不稳定性并提高了准确率。
arXiv cs.LGAI 评分3535 CARing：面向诊断预测的医疗 Token 覆盖感知推理
CARing 框架通过组合式语义 ID（SIDs）与覆盖奖励强化学习，解决了大语言模型在多标签就诊诊断预测中覆盖不足与分词碎片化的问题。该方法利用残差量化将疾病语义编码为紧凑 token，并通过覆盖奖励与多正样本监督优化多标签推理轨迹。在 MIMIC-III 和 MIMIC-IV 上，CARing 加权 F1 超越全部基线，推理模式下 R@30 分别达 46.04% 和 46.52%。
arXiv cs.LGAI 评分4444 可见链式推理并非通用优化手段：分析代码生成中受人设与思考配置影响的研究
研究发现显式链式推理（visible CoT）在分析代码生成中不具备普遍的准确率优势，推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python（pandas）基准上的对比评测，其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择，而非直接作为通用默认设置。
arXiv cs.LGAI 评分3232 循环自我提升：面向循环大语言模型的动态跨循环 on-policy 蒸馏
研究者提出面向循环大语言模型（LoopLMs）的跨循环 on-policy 知识蒸馏框架 LoopOPD 及其动态版本 D-LoopOPD，利用内部循环计算作为自身监督来源，无需外部教师即可实现循环自我提升。在 Ouro-Thinking 模型上的实验表明，仅在数学数据上训练即可提升数学推理、通用推理及代码生成表现。相关代码和模型权重将在接收后开源。
arXiv stat.MLAI 评分3232 迁移验证：精确信息前沿及其调用代价
该研究针对迁移验证推导了信息与调用代价的精确前沿，证明达成概率 s 所需的最小因果信息由列表率失真函数确定。在精确验证器下，设计源可在 1+\log_2 5 次调用内逼近下界，绝大多数结论已在 Lean 4 中完成机器验证。测试表明小型 Transformer 在潜在维度 5 时利用了全部传输比特，而在维度 11 时则完全无法利用。
arXiv cs.LGAI 评分4848 大语言模型中模式识别与逐步推理的二分性
研究提出大语言模型的模式识别与逐步推理构成连续谱，当生成仅依赖较短上下文时模型通过 De Bruijn 图结构实现高样本效率的逐步推理。实验显示，Qwen3-14B 与 Qwen3-32B 在 GSM8K、MATH-500 和 GPQA-Diamond 上，仅保留不足完整推理轨迹 15% 的滑动窗口注意力即可维持超 75% 的准确率。
arXiv cs.LGAI 评分3636 给提示词加噪：连续扩散语言模型中的条件 Token 加噪方法
连续扩散语言模型研究提出在训练中对条件提示词 token 加噪，仅需修改单行代码且默认无额外推理开销。该方法使 Sudoku Hard 求解率从 3.73% 提升至 24.65%，10x10 N-Queens 覆盖率由 50.60% 增至 73.79%。其还在 Gigaword 摘要上提升了生成质量，但无法迁移至开放式对话任务，代码已公开。
arXiv cs.LGAI 评分3636 自剪枝 Transformer：基于 Universal Attention 的极致 KV cache 压缩
Universal Attention 架构通过整合复合衰减机制并保留 RoPE 与 Softmax attention，实现了端到端训练的自适应 KV cache 剪枝。实验显示，该方法在自然语言和合成任务中取得了 10x 的 SOTA 压缩率，下游性能甚至优于未剪枝基线。在长上下文泛化测试中，该架构在 16k 长度下实现了 25x 的压缩率。
arXiv cs.LGAI 评分3838 SPIN：面向稀疏注意力的影子预测索引器
研究人员提出用于稀疏注意力的影子预测索引器 SPIN，通过基于历史的轻量预测识别重要 KV blocks，避免在每个解码步对完整 KV cache 打分。在长上下文与智能体基准评测中，SPIN 在保持任务质量的同时实现了 30-40% 的稀疏度。在端到端 vLLM 服务中，SPIN 将输出吞吐量提升最高 14.9%，并将中位数 token 间延迟降低最高 13.2%。
arXiv cs.LGAI 评分3535 Tiny Transformer 算术推理的算法草稿本与分阶段课程训练
针对总参数 49.3M 的 Tiny Transformer，研究者通过逐位长除法草稿本与 4 阶段课程，在 4,000 题测试集上将除法准确率从 4.0% 提升至 86.7%。训练中序列填充会产生 83% 的梯度饥饿伪影，且缺少语言预训练会导致准确率低于 2.0%。但模型在未见过的 4 位操作数上准确率跌至 0.00%，且无缓冲训练会导致除法发生灾难性遗忘。
arXiv cs.LGAI 评分3333 面向高效隐式多智能体协作的面向任务关键层 KV 通信
研究人员提出免训练框架 KITE，通过仅传输关键层 KV 状态进行面向任务的隐式多智能体协作。该方法依据接收端轨迹失真标准筛选任务关键层，并将其作为自回归隐式推理的入口。在 7 个基准测试中，KITE 相比全层 KV 通信降低了 28-36x 的通信量，实现最高 3x 的端到端推理加速，准确率最高提升 23.3 个百分点。