用于零膨胀连续结局的贝叶斯因果森林
研究者提出了用于零膨胀半连续数据的解耦非参数因果效应估计方法 ZIC-BCF-Smear。该方法通过 Probit BCF 建模全样本参与概率,并在活跃子群体上用 Gaussian BCF 结合子群体倾向调整(SPA)建模正值强度,最后借助段氏涂抹估计器(Duan's smearing)重转换预测。
研究者提出了用于零膨胀半连续数据的解耦非参数因果效应估计方法 ZIC-BCF-Smear。该方法通过 Probit BCF 建模全样本参与概率,并在活跃子群体上用 Gaussian BCF 结合子群体倾向调整(SPA)建模正值强度,最后借助段氏涂抹估计器(Duan's smearing)重转换预测。
研究人员通过贝叶斯优化测量结果分布,为存在静态局部频率无序的相互作用自旋 1/2 系综优化了集体读出方式。该方法结合偶极与四极算符构建可观测量,在最多 17 个自旋的系综中,其无序平均经典 Fisher 信息量(CFI)在两种测试无序强度下均超越标准量子极限。对于较大系综,将编码轴固定在最大化无序平均量子 Fisher 信息的方向上,仍能保持相近性能。
研究提出一项面向量子储层计算(QRC)的新任务,通过模拟自旋储层与训练线性读出,根据二进制提示从两路并发输入流中选择性复现指定流。在无限次测量下储层可精准复现目标流;在有限测量次数 $N_M$ 下受采样噪声影响,性能在较大 $N_M$ 时超越原始输入的线性读出。该性能随计算基下的纠缠与相干性增强而提升并趋于饱和。
研究人员提出了基于经典影子(classical shadow)的量子数据遗忘方案 SHADE,用于在不可重放的量子联邦学习中擦除指定量子数据。各节点仅需记录训练态的经典影子,并通过联邦牛顿校正估计并消除遗忘数据的梯度与曲率影响,网络间仅传输经典估计。在 50 个节点及边缘板卡的仿真中,SHADE 无需重放即可在 0.2 s 内完成遗忘,遗忘准确率与重新训练相比相差在 0.5 点以内。
上海人工智能实验室与大湾区大学许地生团队依托书生科学多模态大模型S2,通过人机协同完成了动力系统领域三维Ghys猜想的证明。北京大学刘若川、董彬团队使用SHEAF框架对证明完成了形式化验证,相关论文已在arXiv发布,形式化代码已在GitHub开源。
针对无法直接评估目标函数、仅能获取含噪两两比较结果的连续全局优化问题,研究人员提出了一种基于矩匹配的全序列高斯过程回归近似方法,可实现元模型均值与协方差的快速闭式更新。在此基础上,研究提出结合信息增益准则与随机采样的全序列采样策略 DOVE,以控制误差累积。在标准正则性条件下,该工作证明了取决于核平滑度的统计误差和期望简单遗憾的收敛率。
研究提出大语言模型隐空间遗忘学习方法 RA$^2$(Retain-Anchored Attraction),将遗忘 token 状态重定向至邻近保留表示,以解决模型在临近遗忘领域提示词下良性推理退化的问题。在 WMDP 和 MUSE 测试中,RA$^2$ 在保持相似广泛效用水平的同时,取得了优于强基线模型的邻近遗忘效用,相关代码已开源。
研究者提出了结构化优化网络鲁棒解释分析方法 REASON,受系统 1/系统 2 范式启发构建双循环机制以应对分布偏移和扰动。该机制通过快速循环处理现有证据,未解决的认知残差则触发中速循环主动获取补充证据,理论上保证中速循环最优解不劣于快速循环。实验表明,该模型在未见损毁下仅需中速循环约一半的计算量即可持续提升性能,并在获得更清晰观测时优于分阶段分类器和延迟学习方法。
研究发现 JEPA 世界模型中的单步预测误差无法有效表征目标导向规划性能,两者相关性在首个 epoch 后迅速饱和。在连续控制实验中,首个 epoch 保真度提升 32%、规划提升 4.4 pp,但随后的 15 个 checkpoint 中保真度再提升 15%,单步误差与规划成功率的相关性仅为 r = -0.010。
研究人员提出策略验证自训练(PVST),利用确定性策略验证器将智能体运行时的合规与违规动作转化为奖励信号进行偏好优化,无需人类偏好标注或更强教师模型。在 AgentDojo 基准测试中,基于 Qwen3-8B 的训练使提示词注入下的违规轨迹从 37.2% 降至 10.3 ± 0.9%,攻击成功率从 12.4% 降至 0.5%,验证器干预率从 39.2% 降至 8.8%。
研究人员提出动态图世界建模框架 DyG-WM,首次实现从时序上下文中联合预测未来的节点与关系表示。该框架结合历史节点-关系上下文编码器与路径签名编码器捕捉有序结构演化,并通过双层联合嵌入目标直接预测目标快照表征,无需重构原始图。在 12 个链接预测和 2 个节点分类数据集上的实验验证了其有效性。
研究发现单层 3 个 token 的纯注意力 Transformer 在长时间生成文本时可能无法收敛。针对包含任意有限深度、层归一化、MLP、RoPE 编码以及局部与全局层混合的 Transformer 类别,每个模型都存在一个 softmax 温度阈值,高于该阈值时经验缓存分布会收敛至独立于初始条件的唯一极限。
研究人员提出双向特征协调分解框架 BFHD,将测量维度的异构临床评估协调表述为双向可恢复性问题。该框架结合双向耦合转换与基于特征维度的输出门控机制,能在原始测量空间中识别可双向转换的测量指标并分离不可转换成分。合成数据与真实临床评估实验表明,BFHD 相比基线方法实现了更广泛的可行协调覆盖率与更优的子集稳定性。
研究人员分析了引导辅助 GRPO(Guide Assisted GRPO)在长程 LLM 智能体任务中的课程设计,探讨起始位置、交接单元和移动规则对独立任务完成率的影响。
该研究针对天气传感器网络与计算机视觉领域提出了集成的异常与新颖性检测方案。针对气象雨量计堵塞检测,研究评估了 CMM、PSWQ、核回归及高斯法四种现有质量控制方法并指出其局限,进而提出结合概率故障检测与一致性诊断框架的三种新技术以降低误报。在计算机视觉方面,研究推出了包含多种新颖性形态的 NOVEL-SS 数据集,并提出了集检测、表征与适应于一体的 DCA 基线系统。
研究者提出了反事实门控支撑集分解(CGSD),这是一种匹配预算的四臂实验设计,用于将训练数据过滤门控效应分解为支撑集内选择、支撑集间重排及二者的交互作用。在韩英和韩日检索任务中,支撑集内选择是唯一显著超过校准零分布带的分量(留出集分别增加 +29.7 和 +5.6 项),且在基于模型置信度阈值的门控中同样表现一致(+27.3 项)。该方法能防止将支撑集分布重排误当做样本级门控质量。
研究发现图 Transformer 模型 GRIT 在分子数据上极少出现 LLM 中常见的注意力汇聚(attention sink)现象,且在更大图上训练时汇聚更少。实验证明注意力打分函数是主因:将 GRIT 的门控 logit 替换为点积后,其汇聚率从 0.09 飙升至 0.68。注意力汇聚并非 Transformer 本身的固有属性,而是点积注意力的特性。
研究者提出了用于序列筛选的获取时残差自适应方法,通过固定历史特征构建微小排序修正并锚定基础分数。在 15 个来源的 20 项官方测试筛选中,该方法将 AssayFormer 的命中回收率从 22.58% 提升至 28.61%,优于同特征普通排序头(25.73%)等所有预设对比项。在 13 项开发筛选的独立试验中,该方法还将随机森林的命中回收率从 28.87% 提升至 31.27%。
研究人员提出一种免训练的越狱评测器“语义重构博弈”,旨在解决仅更换评测大语言模型就会使攻击成功率(ASR)变动高达 82 个百分点的不稳定问题。该方法仅依据模型回复的实质内容反向重构对应请求,并通过与诱饵请求对比来判断是否匹配原始违规请求,同时允许弃权。在三款现成大语言模型评测器测试中,该方法在人类标签对比中平均误差最低并显著降低 ASR 波动,优先避免假阳性。
研究人员提出自适应同策略蒸馏框架 DTDD,通过分段级学生与教师分歧动态触发教师接管,以解决长链推理和多轮智能体中监督不可靠的问题。DTDD 将预热后的峰值梯度范数降低 8.6x,从基础初始化达到 21.3% 保留数学准确率所需的优化步数减少 2.6x。在 ALFWorld 基准中,其在 LoRA 和智能体代码上的性能分别提升 4.8 和 4.1 个百分点。
研究人员提出一种基于程序验证器的智能体强化学习环境与细粒度奖励机制,通过读取验证器诊断信息计算证明责任比例并结合完整性审计,解决二元奖励与作弊问题。在 1.7B 至 14B 的 Qwen3 及 35B 的 Qwen3.6 MoE 模型上,代码生成的保留验证率在 DafnyBench 上从 66.1% 提升至 93.5%,在 SWE-Proof 上从 56.3% 升至 100%。
一项新理论研究推导出了带随机嵌入瓶颈的二元语法(bigram)模型的精确缩放定律。研究将该模型视为大语言模型的简化分析模型,推导出了预测遗憾(prediction regret)随模型宽度、词表大小及齐夫定律(Zipf)指数变化的函数关系,从纯表征能力约束的视角解释了经典神经缩放定律的形式。在 WikiText2 和 OpenWebText 自然语言数据集上的实验结果与理论预测曲线高度吻合。
研究人员建立了尺寸泛化的统计学习理论,证明多项式源衰减条件在域内可实现 $n^{-\Theta(1)}$ 误差,但跨尺寸泛化误差仅以 $(\log n)^{-\Theta(1)}$ 衰减,导致样本复杂度出现指数级分离。该研究进一步提出了可恢复多项式样本复杂度的指数源条件,并给出匹配的极大极小下界,构建了不依赖输入维度的扩展定律。
研究人员针对 MoE 架构的扩散语言模型(dLLM)提出了一种无需策略似然度的训练管线,结合验证器强化学习与结果路由蒸馏。在 24 步去噪下,蒸馏先使模型工具调用性能超过教师 6.77 个百分点,加入路由后在蒸馏检查点基础上进一步提升 18.31 个百分点。该方法还通过锚定 KL 项保护了验证器奖励之外的推理链路准确率。
研究人员基于 Sentinel-2 时间序列评估了 RNN 的树种分类能力,最佳模型在测试集上取得 0.851 的 Macro-F1 分数,分别超过 XGBoost 与随机森林 0.012 和 0.103。利用积分梯度(IG)分析发现,区分纯挪威云杉与混合林的特征归因值在 DOY 约 125 之后显著上升,且 B11 波段贡献最强。
研究人员提出结构化条件神经架构 BeTINN,通过多向时间-参数条件调制和联合残差通路求解参数化偏微分方程。在具有混合导数与一阶、二阶敏感度的 Heston 随机波动率模型测试中,BeTINN 在归一化期权价值和关键敏感度指标上的联合精度均优于基线模型。研究同时发现,精确的解值可能与局部导数误差并存,因此需要引入导数感知评估。
研究者针对 SE(3) 等变结构预测提出了双通道拓扑调度方案,通过带阻尼置信域补偿动态 k-NN 图构建,在保证精度的同时降低逐块重建开销。该方案实现三种补偿级别,其中 L2 级别可完全复现逐块重建的边集,且整个过程取得 1.5x 的 Pass-1 与 1.76x 的 epoch 加速且无明显损失差距。相关运行时与实验代码已全部开源。
研究发现大语言模型(LLM)在生成代码时,其激活值会在中间层形成跨编程语言可复用且可组合的抽象表征。通过激活操控(activation steering),研究人员能够独立控制功能、编程语言与实现策略,甚至在提示词未包含相关信息时灵活组合控制生成。此外,在单一编程语言上微调任意定义的函数可直接迁移至其他语言,合成实验也证实 Transformer 能自主学会这类共享结构。
研究人员提出 Spectral-MoE,通过静态逐层标量和动态逐 token 调度两种方案,在 Dense-to-MoE 转换中跨网络层异构分配专家利用率预算。
研究人员揭示了连续思维机(CTM)在 ImageNet 上的图像分类机制,其思考轨迹表现为神经状态紧跟逐步移动的局部唯一吸引不动点曲线。该曲线运动大多在不同图像间共享,且注意力调度高度通用:在每个时间步打乱图像间的 query 仅导致 7% 的分类准确率损失,图像无关增量预测下一个 query 的 R^2 达到 0.98。这表明 CTM 倾向于采用单一通用策略处理所有 ImageNet 图像。
研究提出让 LLM 智能体团队传递经过校准的动作概率而非单一动作,以在部分信息场景下更有效地聚合决策信息。在协作迷宫任务与预训练 LLM 评测中,保留校准不确定性的概率通信表现显著优于传统的动作通信。针对概率偏差削弱通信收益的问题,研究设计的事后对话校准干预机制能够通过上下文纠偏持续改善协作决策。
研究人员提出 FireGraphNet,将 12 小时野火蔓延建模为有向 H3 图上的节点分类任务,边上编码了风向对齐、地形、可燃物连续性与屏障信息。在卫星火线数据测试中,其平均精度在加州测试火灾上达到最强距离基线的 1.7-1.9x,在州外火灾达到 1.62x。该模型还支持修改可燃物与屏障属性,可用于实际灭火干预分析。
研究人员提出了具备风险保证的 Conformal Adaptation 框架,用于实现感知不确定性的稀疏自适应计算。该方法采用分层模型在低分辨率下进行预测,利用共形风险控制对信号进行认证,并仅对已认证区域进行高分辨率细化。在 3D 医学图像分割、2D 星系光通量预测和 1D 钙离子脉冲率预测等多项任务中,该方法在普通 CPU 等设备上实现了 2.5-72x 的实际运行时间加速。
研究人员提出了一种结合患者异质性与分布偏移的统一诊断流程,通过 MED3pa 发现可解释的低置信度患者画像,并利用 Detectron 在画像内检测性能下降是否源于有害协变量偏移。在 MIMIC-IV 上的三项临床预测任务与三种子群体偏移实验显示,群体层面无法检测的年龄偏移被成功定位至特定受损画像,而广泛检出的性别与种族偏移则难以针对性定位受影响患者。相关代码已开源。
研究通过在师生分歧处受控替换 token,揭示了在线策略蒸馏(OPD)中教师优势的具体来源。实验表明多次重复替换可将准确率从 28.4% 提升至 74.5%(接近教师的 76.9%),且基于质量和 KL 的筛选比随机替换高 15-18 个百分点。此外,更高的 argmax 一致性并不会持续改善准确率,研究建议采用能稳定学习高价值修正的训练方案。
研究人员实现了直接在图数据库内进行图神经网络(GNN)训练与推理,可直接执行采样、特征检索甚至完整的前向传播。通过 Cypher 进行实时采样和检索并结合优化方案,训练过程在保持相同准确率的同时提速约 2.5x。在真实图数据上,数据库内推理相比将图冷加载至 RAM 提速超过 10x,且无需额外内存开销。
研究人员提出感知部署通道的对抗训练方法 TRACER,通过采样展示包装器、结合证据门控奖励与推理对齐机制,防御大语言模型的间接提示词注入攻击。在 GSM8K 测试中,基于 Qwen2.5-3B-Instruct 的 TRACER 将 RAG 场景下的攻击成功率(ASR)从 65.5% 降低至 6.1%,并保持 78-82% 的干净样本准确率。
研究提出 TD-Aug 方法,通过几何时域模型采样直接想象组合已有知识可达成的新结果,以此解决离线策略在长时域下的零样本目标泛化难题。实验表明,将这些想象出的未来结果作为目标用于训练目标条件行为克隆(goal-conditioned BC)策略,能显著提升其在基于拼接的 OGBench 任务中的泛化表现。
研究人员提出了基于 SMILES 序列的自回归 Transformer 训练框架 PairIT,通过学习结构相似的分子对来实现带种子的分子生成与局部化学编辑。该框架支持使用 prompt tokens 指定目标属性、方向及变化幅度以实现多属性优化,并可通过强化学习后训练进一步提升表现。
研究者提出免训练结构化剪枝方法 LayerTrim,通过识别冗余解码器层并选择性裁剪其 MLP 特征,在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示,该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上,LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。