代码大语言模型中的因果语法电路:组件预算与探测方式决定定位结论
研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。
研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。
研究人员提出大语言模型架构 TurboMamba,结合全局 Mamba-3 与小型 Transformer 块内预测以提升性能。在 FineWeb-Edu 评测中,TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%,端到端训练吞吐量达其 2.60x。在 32 批次推理测试下,其相较 Mamba-3 取得 3.12x 加速,并显著超越 Jamba 与 Zamba 变体。
研究表明稀疏自编码器(SAE)的重构等功能表现在较小数据量下即可收敛,但特征的一对一可复现性仍随数据增加而持续提升。在 Gemma-2-2B BatchTopK 上的测试显示,严格匹配特征的比例从 5M tokens 时的 2% 增至 50M tokens 时的 29%。此外,随机采样更利于特征重构,而多样性采样常能改善 AutoInterp。
该研究探讨了谱特征与标量学习曲线对零均值二次网络的表征能力。研究人员构造出具有高斯边缘分布但四阶矩算子正交缠绕的输入密度,证明对应谱测度一致时,特定教师模型的分解损失曲线仍因非对易性产生差异,且带噪损失查询区分需要 $O(\varepsilon^{-2r})$ 次观测。相反,在高斯输入且教师谱有理独立时,单条精确标量损失曲线足以确定初始预测器,并能恢复未知教师谱及有效维度。
研究人员提出了基于单层 LSTM 的全球径流预测模型 KNOU-Flood,通过引入 424 天输入窗口、提前期感知输入、GraphCast 气象预报源及基于 fair CRPS 训练的隐噪声集成来量化不确定性。在 2099 个测试流域评估中,其在提前 1 天和 10 天时的中位数 KGE' 分别达 0.65 和 0.48,全流程显著优于基线方案。代码、权重及站点结果均已开源。
研究表明基于可验证奖励强化学习(RLVR)报告的跨领域得分提升很大程度源于答案格式而非解题能力。在 4 组 7B SimpleRL 模型上,公开答案抽取器报告的域外多选题涨幅有 82% 在能兼顾正文答案的新抽取器下消失,本质是强化学习使模型学会把答案放进 `\boxed{}` 框内。
推荐理由:论文揭示了强化学习评测中答案抽取器造成的格式假象,为检验模型真实跨领域泛化能力提供了直接的复核方法。
研究提出将注意力机制的指数核展开为截断泰勒级数,将其因式分解并压缩为固定 $n$ 个循环状态,实现了独立于上下文长度 $N$ 的线性时间 Transformer。
研究人员提出 FlowBudget,一种用于 Flow Matching 模型的免训练采样复杂度估计方法。该方法通过对学到动态进行免模拟插值探测,将主导的单步离散化误差归一化,并结合求解器阶数将数值容差映射为步数预算(NFE),涵盖 ODE 的 Euler、Heun 以及 SDE 的 Euler-Maruyama 求解器。
全球陆地保护区实际覆盖率或已达到约 27%,接近 2030 年实现 30% 的政府承诺目标,但研究指出单纯扩大面积并不必然能保护生物多样性。此外,国际计量大会成员国投票决定立即取消闰秒,今年美国大学约 30% 的 STEM 博士论文包含 AI 生成文本。
研究人员提出了一种用于将智能体 AI 集成至企业软件的技术中立参考架构,将各类架构能力归纳为 10 项核心职责,并定义了边界不变式、跨职责交互与变异点。该架构在现存面向服务的 ESG 组合分析与交易前合规系统中落地验证,实现了其中 7 项职责,并成功映射了一套独立发布的智能体架构。相关部署与记录结果已作为复现包提供。
研究人员推出生存沙盒基准 ASIWorld,结合持久世界状态、角色范围观测和可编程异步接口,用于评测自主 AI 智能体的持续目标执行能力。在对 9 种智能体配置的探索性研究中,8 种完成了生产任务,6 种完成了生产与探索双重任务。评测不仅关注任务成功率,还综合分析了发展成就、生存成本及准备、战斗与恢复等执行行为。
研究人员推出多年度网络流量时间序列数据集 CESNET-TimeSeries26,包含来自 CESNET3 网络的 995 天连续流量时间序列,以及约 4.5 年的单一子网数据。该数据集覆盖 278,466 个 IP 地址、285 家机构与 566 个机构子网,提供 3 种聚合粒度。实验表明年度季节性是主要周期成分,且预测模型只有在训练窗口至少覆盖一个完整年度周期时才能有效利用该特征。
研究人员提出了结合动态定价与路径规划的框架 GREAT-ESDD,利用图边注意力网络(GREAT)求解不同规模的有容量限制车辆路径问题(CVRP),并在客户下单后直接提供更新路径。
研究者提出了反思型语言 AI 智能体在保留原生控制器下实现次线性反事实遗憾的充分条件,解决局部反思在资源约束下缺乏长期性能保证的问题。该研究建立了资源敏感的转移机制以约束全状态部署偏差,并通过局部生成可靠性推导出累积生成机会界。全部 13 个理论结果的条件证明链均已在 Lean 中完成形式化验证。
研究团队推出多智能体分析程序合成框架 LYNX,通过规划、生成、验证和精炼的三智能体闭环工作流,将 LLM 数据分析转化为模式与知识约束的求解任务。
ProgAgent 提出完整的编程式工具调用(PTC)训练技术栈,通过运行期变量存储中间结果以避免上下文膨胀与编排崩溃。该方案仅用 4 种环境规模下的 215 个合成任务完成两阶段训练,在 4 个基准测试中均优于同规模基线。在 LOCA-bench 的 64k-token 环境状态下,ProgAgent-14B 取得 30.7% 通过率,而参评基线得分为零。
针对摄像头优先 AI 智能体面临的短暂目标交互(ETI)时效难题,研究团队提出了感知截止时间契约,将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s,该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。
研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。
研究人员提出 GateSight 方法,利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号,无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
研究者提出了结合等信息重构控制、固定效用比较与预设下游护栏的评估框架,用于评估模块化金融强化学习中的信用分配。在归因引导的模块化交易架构测试中,残差分配被普通损失预算控制完全复现,直接缺口监督虽改善组件预测却未能保留解码结果,而组件级 critic 监督相比标量监督恶化了风险条件确定性等价和回撤。该结果指出了冗余归因信号等三类评估失效问题。
研究人员提出针对仅权重矢量量化的 SAGE 方法,通过能量分层分组保护敏感通道,并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下,SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现,在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
研究人员提出工具增强策略智能体 TASA,通过总结并利用优化轨迹提升组合问题的求解质量。TASA 将优化过程分解为可追踪的策略选择,并结合 LLM 构建的问题专属工具与自适应工具规划器高效更新解。该方法确立了持续探索下的局部收敛性,并在共享评估预算下验证了优异的解质量与搜索可追踪性。
研究人员提出多时间尺度分层世界-动作模型 MHWA,通过跨步高层上下文通道降低更新频率以抑制复合漂移,并结合上下文感知路由动态重构低层专家混合架构。在 10% 离线数据的 14 款 Atari 游戏子集上,77M 参数的 MHWA 取得 0.884 的 IQM 人类归一化得分,大幅超越 JOWA-70M 基线(0.529)。
研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。
研究团队提出多模态扩散框架 PIDiff,通过耦合离散序列与连续 SE(3) 结构流形的扩散,联合生成靶标条件的蛋白质序列与结构。该框架采用融合几何感知不变点注意力与全局序列自注意力的 PIFormer 架构,并在 PIBench 数据集上预训练。在微型结合蛋白和抗体设计任务中,其序列设计成功率、结构结合能及协同可设计性指标均优于基线方法。
AcrossVAM2.0 提出了一种针对视频扩散模型的冲突感知点监督微调方法,在 5.01B 参数的文生视频 Diffusion Transformer 上结合了置信度加权追踪头、零初始化残差反馈与非对称 PCGrad 梯度投影。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
研究者提出 RASSG 方法,用于在流式语音交互中联合控制工具的启动与取消,以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具,并在产生不可逆影响前的最后可行时机,结合参数失效风险与执行成本决定是否取消。
LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律,通过平衡输入维度与中间宽度构建接近正方形的专家,可最大化局部雅可比秩上限。研究进一步利用层级内在维度(ID)指导跨深度容量分配,在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线,该方法取得了更低的验证损失与更强的下游表现。
研究人员提出长语音隐私保护框架 AegisVox,通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中,文本转语音渲染实现了 535/601 处计划替换,基于编解码器的语音编辑器实现了 453/601 处。
研究人员提出 PEARL 强化学习方法,在无需额外 Critic 的情况下改善多轮 AI 智能体的局部信用分配。该方法通过定位分叉决策并聚类历史失败与成功记忆中的循环模式,选择性强化低奖励决策的负优势。实验显示,PEARL 在 AppWorld 的 4B 和 8B 规模上均超越 ARPO,并在 ALFWorld 4B 规模达到 97.9% 的平均成功率,高于最强基线 2.7 个百分点。
研究人员提出了审视递归自我改进(RSI)的两个互补视角,以推动语言智能体在参数、记忆、技能和代码层面的持续自我迭代。其一建立了包含更新目标、更新组织、更新调度与范围、反馈与选择 4 个组别共 9 个设计维度的统一分类法;其二结合深度学习与进化计算等机制,并总结了在线、离线及离线到在线设置下的评估基准。
研究人员提出 Forget-Aware Self-Distillation(FASD)方法,通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道,前者通过掩蔽目标 token 的自蒸馏学习合理拒绝,后者独立抑制真实答案跨度。实验表明,FASD 成功遗忘目标知识并防止信息泄漏,同时保留了非目标数据的性能,相关代码和数据将在正式发表后开源。
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑,再将真实线上行为通过 SFT 蒸馏到小语言模型(SLM)的部署方案。在护理排班场景中,基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性,表现比教师模型 GPT-5.4-nano 更稳定,盲测中以 48 比 29 获专业人员认可,并将中位数延迟降低约 2.5 倍且大幅降低成本。
研究人员提出面向序列动作选择的 CB-Agent,将概念上下文学习引入交互式智能体。该方法从专家轨迹中提取动作决策,通过极大似然拟合概念向量,并结合冻结的语言模型特征与先验来对候选动作评分,在 ReAct 交互中无需将演示轨迹放入动作评分上下文。
研究者提出“执行后学习”方法与动作特异性信用分配机制,将程序执行结果作为中间状态引入同一策略的训练。在 Image-to-TikZ 任务的 945 个留出样本测试中,该方法将单次调用渲染成功率提升至 92.70%,优于同等训练迭代下单阶段 GRPO 的 88.25%。该方法不仅增强了单次推理性能,还赋予了模型执行后修正能力,相关代码已开源。
研究人员提出 PsyMemBehav,通过两级身份到行为推理将心理学画像和检索记忆映射为平台行为,并构建了涵盖 Reddit、Bluesky 和 Twitter 上 5862 名用户共 5.57M 条行为的 PsyMemBehav-bench。
研究者提出多模态基准诊断框架 SRCoD,通过结合题目结构与模型响应行为进行协同校准,实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应,生成校准后的题目诊断画像并提供可解释归因。实验表明,SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。
研究人员针对测试时发现(TTD)中已知与未知类别特征易坍缩的问题,提出了 Energy Ring 方法,通过将两类特征锚定在独立的能量环上来稳定能量差。该方法利用轻量级 adapter 扩大基于范数的差距并保留已知类别方向,同时借助扰动一致性模块为未知类别形成紧凑聚类。测试期间还结合能量引导的置信度加权与基于稳定性的矫正机制,显著提升了 TTD 性能。
研究者提出了面向泛血管介入研究的协议 ScienceBuddy-PV,通过结构化证据账本、器械-血管本体与弃权契约等机制规范递归流程。在锁定的 ARCADE 测试集上,基线卷积模型取得 0.475 的语法 Dice 与 0.231 的狭窄 Dice,启发式门控接收了 76.7% 的狭窄帧输出。该研究仅审计了固定组件且未实际执行外环递归改进,旨在使支持与弃权可衡量。