通过推理外化实现大语言模型股票回报预测的忠实叙事
研究提出一种结合时间 SHAP 解释与历史类比的大语言模型股票预测叙事框架,通过逐步外化推理提升解释忠实度。在 Qwen3 模型上的对照实验显示,数值与关系推理外化使 Qwen3-32B-Instruct 的证据忠实度从 0.696 显著提升至 0.996。此外,引入历史状态类比虽未改善自动化忠实度,但在人工评估中获得了更高的实用性评分。
研究提出一种结合时间 SHAP 解释与历史类比的大语言模型股票预测叙事框架,通过逐步外化推理提升解释忠实度。在 Qwen3 模型上的对照实验显示,数值与关系推理外化使 Qwen3-32B-Instruct 的证据忠实度从 0.696 显著提升至 0.996。此外,引入历史状态类比虽未改善自动化忠实度,但在人工评估中获得了更高的实用性评分。
研究团队提出 CICM 基准探究大语言模型在上下文信息更新时的陈旧绑定问题,发现前沿推理模型也会因注意力漂移而错误调用旧信息。探测实验表明模型内部依然保留着更新后的值,但多个旧值的注意力累加会超过当前值导致提取失败;研究据此提出无需额外训练即可重定向注意力的方法,在保留原本正确答案的同时修正了多数旧值错误。
研究者推出 OpenJev-RLCD,针对推理模型过度自信问题实现了一种基于严格真评分规则的可校准决策强化学习(RLCD)方案。该方法采用“先校准后强化”的两阶段训练策略,解决策略优化中的噪声与推理失效问题。在 Qwen3-1.7B 评测中,RLCD 准确率持平或超越 SFT 与 GRPO,并在选择性预测上击败所有对比基线,相关代码已开源。
研究人员将 LLM 多路径推理形式化为无线通信中的分集合并问题,解释了自洽性(SC)采样收益饱和的内在机制。在 5 个模型与 12 个基准测试中,提示词模板多样性在 57 组测试中的 55 组降低了路径相关性。团队据此提出的 Adaptive-K 规则通过 4 路径引导测试,在 Math、QA 和 NLU 任务中保留了 MV@K=32 准确率的 96%–103%。
新研究提出针对大推理模型(LRM)的推理状态分析框架 RADAR,将模型生成过程划分为四种状态,以实时识别冗余验证与生成死循环等失控推理现象。时序分析显示,失控推理的注意力分布偏离在表层文本重复出现前即可被检测;通过 Attention Realignment 纠正异常注意力分布,可在基本保留正常推理性能的同时有效减少死循环。
GraphCert 提出了一种利用认证证据评分标准自举智能体图推理的后训练方法。该方案通过 Bootstrapped Graph Quizzer 生成并认证图 QA 对及支持证据,在 GRPO 训练中同时奖励 Graph Solver 的证据对齐与答案正确性。在 GRBENCH 的 5 个领域测试中,其表现优于更大规模的 LLM 智能体并具备跨图迁移能力,代码将开源。
科学推理系统 PathAnchor 通过检索源关联的“材料-传感器-信号-系统”路径结构化轨迹,解决科学 AI 智能体的证据混淆与功能顺序丢失问题。在 120 道柔性传感器问题评测中,PathAnchor 取得 82.6% 得分并领先 6 个受评系统;在 6 次工具调用预算下,该方案将来源召回率从 61.3% 提升至 82.9%,全引证答案比例增至 90.0%。
测试时数学推理在 token 预算耗尽时,允许推导完成(advisory)比严格截断(strict)具有显著边界效应。基于 AIME 等题目的 19,200 条轨迹回放显示,4k cap 下 advisory 策略主要通过减少弃答提升准确率,strict 则为空白前缀浪费了计算成本;此外提高候选覆盖率未必能提升准确率,32k cap 下同上限多数投票准确率差异缩小至 1.3 个百分点以内。
概念扎根注意力(CGA)对照评估表明,图注入注意力的大部分增益仅源于模型新增容量,而显式时间与认识状态表示可带来实质提升。在 LongMemEval 评测中,显式时间表示使最高 122B 参数模型的回答准确率提升 13 至 25 个百分点。认识状态机制还将 72-122B 模型的无支持断言率从 19-68% 降至 0-5%,微调小模型降至 0.1%。
研究显示直接给出约束条件时 GPT-5.6 Sol 与 Claude Opus 5 识别最优支持赋值的准确率达 90% 和 96%,但转化为科学散文后表现明显分化。Claude Opus 5 易偏向生物学先验预期,在移除偏好并加入形式化与显式配对提示后识别率从 27% 升至 92%(p<.001),而 GPT-5.6 Sol 对此调整并不敏感。
研究人员提出一种基于掩码扩散模型的创意国际象棋谜题条件生成方法,支持以特定战术主题和局部棋盘局面为条件。该方法引入最佳着法预测辅助任务并采用基于 DDPO 的强化学习优化,使解法唯一性提升 11.6%,唯一且符合主题局面的产出率提升 89.1%。此外,研究团队还发布了首个用于国际象棋谜题生成的开源权重模型。
研究人员推出 ArgGYM,这是一个面向结构化可废止推理的程序化基准与兼容 RLVR 的训练环境。它将推理拆解为 12 项任务并通过符号论证引擎进行形式化状态验证打分,包含跨 15 种课程配置的 1,440 个固定验证实例。该基准、生成器和验证器均已开源,支持动态生成新样本以降低对静态测试集的依赖并用于强化学习训练。
研究者提出 Decode-Latency Feedback Prefill(DLFP)无模型控制器并在 vLLM 中实现,通过解码延迟反馈动态调整预填充分块大小以缓解并发推理干扰。
研究者提出离散扩散大语言模型微调方法 GoldiMask,通过最大化次模目标选择可见上下文 token,并对剩余预测目标进行加权。在 3 个骨干模型和 3 个训练数据集的评测中,GoldiMask 在推理与代码生成任务的大多数设置下取得了最高平均准确率。在置信度阈值并行解码下,该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。
研究人员测试了 AI 智能体对 Blaschke 曲线不变量的重新发现能力,其在未获知目标定理的情况下成功拟合出齐次三次曲线,并在 80 个未见参数的 480 条线上达到 8.88×10^-17 的 RMS 无量纲残差。不过确定性次数搜索基准同样能恢复该三次曲线,该实验并未确立智能体相比传统多项式拟合的优势。
CARAT 提出了一套评测方法,用于检验材料大语言模型在回答晶体结构问题时究竟是在推理还是照搬输入。研究发现冻结模型在 95.6% 的成对测试中仅复述了结构关系,却未真正将其用于推演。在引入匹配监督后模型表现可提升至 99.8%,而一旦删除对应的关键证据链接,准确率便骤降至 23.4%。
研究人员推出自我改进型智能体 AREX-2,基于 Qwen3.8-27B 构建,通过长周期反思任务训练测试时的自我迭代优化能力。其在 MLE-bench Lite 获 81.8 分、Frontier-CS 达 70.7 分,在 BrowseComp、HLE 与 GAIA 分别取得 84.0、52.6 和 92.2 分。模型性能随迭代轮次增加持续提升,相关代码与模型将开源。
研究提出了面向连续扩散语言模型的分布匹配蒸馏(DMD)方法,包含 Simplex-DMD 与 Reinforce-DMD,旨在降低高质量并行生成所需的网络评估次数(NFEs)。
研究推导了大语言模型测试时扩展曲线(Test-Time Scaling Curves)的统计认证极小化极大成本,并提出一种无需试点的配对审计方法。在 185 个评分池中,该方法认证 64 和 1,024 个预算所需的答案数仅为竞品的 0.74 倍与 0.53 倍。实验在 MMLU-Pro 上仅用 79,133 个生成答案完成整条曲线认证,并同时支持 pass@k 与多数投票。
针对难解似然模型的模拟贝叶斯推理(SBI),研究者提出了结合高斯专家混合代理与局部摊销似然证据比率估计器重要性采样的顺序后验估计算法。同时提出的局部基于模拟的校准(localized SBC)方法,通过仅拟合一次局部代理与比率估计器并在伪观测间复用,大幅降低校准评估的计算成本。该方案在包括真实流行病学应用在内的 3 个案例研究中完成了验证。
研究人员提出一种针对任意结构多层模型的摊销贝叶斯推理通用方法,通过图扩展与图反转自动推导联合后验分解并构建匹配的神经网络架构。该方法完整保留了生成模型的所有条件独立性与可交换性假设,可对组数及组内观测数进行摊销。在 3 个案例研究中,该方法在超 6,500 个参数的模型上贴合金标准采样器,训练后可实现近乎瞬时的前向推理。
研究提出一种在内部表征施加辅助引导损失的通用方法,以缓解摊销贝叶斯推理中特征学习与条件分布学习之间的表征鸿沟。该方法在训练数据充足时能加快收敛速度,在数据稀缺时可提升模型性能,并提供通用诊断工具用于区分总结失败与推理失败。测试表明,辅助监督在多项具有挑战性的真实世界推理问题中均提升了收敛速度和准确率。
新框架 Steepest Guidance 针对 Flow 与扩散模型的推理时对齐问题,解决了 Doob's h-transform 最优引导在实践中难以估计的困境。该方法将推理时对齐视为概率测度空间中的序列优化问题,基于最大化目标局部改进的原则构建。论文给出了理论分析,并通过大量实验验证了该方案在生成建模中的有效性。
研究人员提出离散平均生成元(Discrete Average Generator),将 MeanFlow 拓展至连续时间马尔可夫链,以加速扩散语言模型的少步数生成。在 OpenWebText 基准上,该方法在 8 至 64 步采样中取得最低的生成困惑度,并实现 16x 加速。此外,该方法在 Potts 模型模拟中将采样器的全变差距离降低最高 67%,并在 ImageNet 上达到可比性能。
Google DeepMind 发布新一代前沿模型 Gemini 4 Argon,将输出 token 上限提升至 1M,主打软件工程、网络安全防御与企业长程工作流。
推荐理由:该模型将单次输出上限大幅提升至 1M token,展示了在超长程代码重构与企业复杂工作流上的实测落地路径。
针对 MoE 模型批处理解码的权重传输瓶颈,研究人员提出无需重训的批感知专家选择方法 BASE,通过轻量线性预测器估算专家移除误差并协同跨请求复用专家。在 Qwen3-30B-A3B 上,BASE 在紧凑预算下平均准确率较最强基线提升 29.5 points;在更高预算下比稠密推理提速 60%,准确率差距在 0.4 points 以内。
一项针对 17 个开源权重模型的研究发现,随着任务串行需求增加,多数模型在中前层集中注意力头活跃度、后续层趋于分散。Qwen2.5(0.5B 至 7B 及 72B)在模型后半部分更倾向集中活跃度,而 Llama(1B 至 8B 及 Llama-3.1-70B)与 OLMo-2 则趋向分散。消融实验表明活跃度更集中的模型更依赖核心头输出答案,相关代码已开源。
研究者提出推测解码草稿模型 DSpine,通过在骨干网络逐层引入门控相邻注入,在保持全位置并行更新的同时通过网络深度传递因果条件。在 Qwen3-4B 与 Qwen3-8B 的 7 项评测中它均取得最长接受长度,将 Qwen3-8B 平均接受长度由 DFlash 的 3.77 提升至 4.82(+27.8%)。在 SGLang 服务测试中,其平均吞吐量比 DFlash 提高 23.3%。
研究证实采用严格局部连接与异步更新的神经元胞自动机(NCA)具备多步推理能力,能够解决大型迷宫、数独以及 ARC-AGI-1 等复杂视觉推理任务。NCA 在更大网格或更长展开步数下具备分布外泛化能力,并可通过剪除冗余轨迹提升并行效率。该架构还展现出动态调节计算以自愈恢复的鲁棒性,并可扩展至原始像素空间推理。
研究团队提出 Koa-action 框架,通过原子标签 token 与监督微调将分类等决策转化为单 token 输出的约束生成,实现低延迟确定性解码。在生产意图路由基准上,其准确率达 85.5%(超过 GPT-5 与 Gemini-2.5-Pro),约 0.5 秒即可响应,中位数速度最高提速约 7.5x。相比 Jev/TypeSafe,它还进一步支持多模态输入与多标签输出。
研究揭示了 AM、POMO 与 LEHD 三种神经组合优化(NCO)求解器在旅行商问题和带容量限制车辆路径问题中的不同决策机制。行为分析与因果干预显示,AM 和 POMO 在解构建中遵循持续几何模式,而重解码器架构的 LEHD 包含多个未来动作的线性可访问信息。LEHD 依赖当前节点进行即时局部决策,并借助起始节点表征导航后续路线,相关代码已开源。
新研究提出面向可验证奖励强化学习(RLVR)的控制变量方法 ABC,并将其与直接优势估计(DAE)结合构建了 actor-critic 算法。该方案在离线到在线设定下运行,critic 先在历史收集的轨迹上训练并在在线学习中自适应更新。在数学推理任务中,ABC 仅用显著更少的在线优化步数,便取得了与 GRPO 相当的性能。
研究人员提出智能体强化学习方法 BRIDGE,将检索增强的 ARL 建模为双层优化问题,以解决检索器与大语言模型联合训练中的信用分配差距。在 7 个开放域 QA 基准上,BRIDGE 基于 3B 和 7B 基座模型均取得最高平均准确率,多跳任务平均表现较最强 baseline 分别提升 9.6 和 3.4 个 EM 点。此外,该方法在医学 QA 基准上也取得了最佳的平均答案准确率与推理质量。
研究提出 PAIR,将大语言模型推理路径建模为同问题内的阶段结构化轨迹,以解决跨问题探针混淆问题难度与路径质量的缺陷。该方法根据归一化进度将变长路径映射至共享相对阶段,仅在同问题与阶段内对比成败轨迹以提取质量方向。PAIR 在多模型与基准上提升了轨迹排序和 Best-of-N 选择效果,阶段引导也证实其能改变生成结果。
研究人员系统评估了面向可验证隐私 LLM 推理的零知识友好量化,覆盖 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。结果显示激活精度比权重精度更敏感,且 RMSNorm 平方根倒数查表是主要性能瓶颈,仅针对该瓶颈提高精度即可恢复接近基线的表现。研究还发现降低位宽并不一定会按比例节省端到端证明开销。
研究人员提出多智能体框架 PhenoAIR,将基于 Cell Painting 的作用机制(MOA)预测重构为校准证据推理。该框架通过控制器引导精炼表型与机制证据,并利用离线参考集校准对检索证据赋权。在基于 JUMP Cell Painting 的基准评测中,PhenoAIR 在受控、真实及开放世界等所有 MOA 设定下均优于表征匹配与 LLM 基线。
采用简明的交互接口能够显著引导 LLM 智能体在拍卖与匹配等多智能体环境中做出更优决策。在 4 个模型族测试中,升价拍卖接口大幅减少了出价偏差,列明收益并解释如实申报安全性也改善了选择,但提示规划轮次或推测对手反而恶化了表现。由于实际决策改善并未伴随口头战略理解指标的提升,评估脚手架设计需直接依据实际选择而非仅看解释。
NeurIPS 2026 入选论文提出 SARA 对齐方法与 DSAR 指标,用于量化并缓解大型推理模型在思考链与最终答案之间的欺骗性安全不一致。研究指出由于强化学习通常仅对最终答案给奖励,模型在中间推理过程中的安全辨别力显著弱于最终输出阶段,该现象在 prefilling 攻击下更为明显。SARA 通过同时奖励安全推理过程与安全答案,促使模型提前识别有害意图并保持推理与答案一致,代码已开源。
研究人员提出针对隐式递归大语言模型系统的 REST 训练目标,将思维表征的因果性、极小性、可分性与稳定性转化为可微损失函数。在无需改动架构或增加推理参数的前提下,REST 在数学、医学和代码等 7 个基准测试中比纯交叉熵监督最高提升 7.5 个百分点准确率,并使收敛速度提升 30%,同时让智能体隐式通信更易于解释。
一项针对 5 个 7-9B 模型的研究表明,小型 LLM 团队规模扩展的准确率收益高度依赖任务。当调用次数从 3 次增至 30 次时,GSM8K 和 GSMHard 算术任务准确率最高提升 17 点,而在 ARC、GPQA 和 MMLU 上最多仅提升 4 点。Proposer-Critic 仅在算术任务表现最优,且相同调用预算下不同架构的 token 成本相差 2.1x。