基于数据驱动尾部能量准则的交叉拟合截断协方差估计
针对重尾数据协方差估计对截断阈值敏感的问题,研究提出完全数据驱动的分位数尾部能量代理(QTES)选择规则。QTES 将交叉拟合方差凭证与留出样本估计的截断尾部能量相结合,无需任何分布先验参数。在有限 $L_4$ 矩条件下该方法具备有限样本理论保证,并在干净重尾及污染基准测试中均表现优异。
针对重尾数据协方差估计对截断阈值敏感的问题,研究提出完全数据驱动的分位数尾部能量代理(QTES)选择规则。QTES 将交叉拟合方差凭证与留出样本估计的截断尾部能量相结合,无需任何分布先验参数。在有限 $L_4$ 矩条件下该方法具备有限样本理论保证,并在干净重尾及污染基准测试中均表现优异。
研究人员提出临界阻尼高阶朗之万动力学方法,将系统分析中的临界阻尼概念引入生成模型,把高阶朗之万动力学(HOLD)推广至任意阶。该方法在 n 维场景下推导出一套最优超参数,并给出前向过程均值和协方差的闭式解以简化实现。相关实验在 CIFAR-10 与 CelebA-HQ 256x256 数据集上开展,并通过 FID 指标进行了验证。
研究提出将老虎机遗憾、序贯检验、最佳臂识别及马尔可夫决策过程的实例相关极限统一构建为精确信息账本。该框架利用链式法则精确量化数据处理损失,并引入单参数鞅恒等式族,使除渐近步外的松弛缺陷均可由算法自身运行数据直接计算。在电影评分至发动机更换等 7 个公开来源的验证显示,该账本能有效定位标准算法与经典极限的差距。
一项针对双神经元 ReLU 教师-学生模型的研究揭示,梯度流的特征学习动力学由主导信号的平分线方向与负责专门化的分裂方向主导。理论分析证明,该模型总体平方损失中非零权重的临界点仅存在全局极小值与鞍点。从小初始化训练时,学生神经元会先向平分线鞍点塌缩,随后逃逸并专门化对齐教师神经元,呈现出多阶段对称性破缺。
研究人员提出 CWAM(Causal WAM),通过在预训练世界动作模型(WAM)的动作头添加稀疏路由路径,将生成动作的因果潜变量与场景干扰变量有效解耦。理论证明在稀疏约束下生成动作仅取决于动作相关潜变量,且真实结构可被识别。合成数据和真实机器人实验验证了该理论,并展示出闭环成功率等效率的提升。
针对冻融贝叶斯优化,研究提出一步前瞻准则 EI stopping,在无期望改善(EI)超过单步成本时终止评估。该准则在高成本下损失极小,但低成本下易过早停止,研究为此构建了两步前瞻下界证书予以修正。在 3 个超参数优化基准上,EI stopping 在多数高成本设定下不逊于修正方案,而在 2 个基准的低成本下两步修正收益更高。
针对含 $n$ 个分量的光滑凸有限和优化问题,该研究证明在个体平滑与凸性假设下可实现进一步加速,其随机二阶复杂度理论下界达 $\Omega(n+ n^{5/7} \epsilon^{-2/7})$。
研究团队推出用于 zero-shot 预测的多变量时间序列基础模型 Chronos-2,可直接从历史上下文中建模多变量序列与异构协变量的相互作用并生成概率预测。
研究表明在随机块模型中,对任意固定的公共期望度数 $d>1$,Bethe Hessian 的异常特征向量均可在低至 Kesten-Stigum 阈值处实现弱恢复。该结论打破了此前要求 $d$ 足够大的限制,且该阈值在对称双社区模型中达到信息论最优。这一结果仅使用 $n\times n$ 埃尔米特矩阵,便达到了与非回溯谱方法相匹配的恢复保证。
针对微分方程解算子在目标数据稀缺下的学习难题,研究者提出一种基于白化工具变量的结构化迁移学习方法。该方法结合预解恒等式构建无偏估计方程,通过目标岭回归先导、逐源稀疏校准与投影重拟合的三阶段估计器消除误差。理论推导给出了非渐近预测界,仿真与电子带通滤波器实验表明其性能显著优于仅目标学习及现有迁移方法。
针对依赖观测驱动的随机镜像下降(SMD)算法,一项研究突破经典的 i.i.d. 假设,提出了支持几何或多项式依赖序列的“遗忘”条件。该条件导出了平均 SMD 迭代的显式有限样本精度界,在大、小初始误差机制下分别恢复了经典的 $O(1/T)$ 与 $O(1/\sqrt{T})$ 速率,并已成功应用于含依赖回归元的高维线性回归等场景。
新研究提出了估计数据依赖事件概率的统一理论框架,涵盖经典缺失质量、后选择推断与预测器测试误差估计。框架表明经验代入估计量的误差即泛化差距,而留一法估计量可恢复 Good-Turing 估计量并在单点删除稳定下保持准确。针对自适应缺失质量估计,论文提出混合 Good-Turing 估计量,并给出基于 VC 维与互信息的误差界。
研究者提出 Muon-RT,通过复用 EMA 教师与学生的位移消除隐藏权重的动量缓冲区,大幅降低大语言模型自蒸馏显存。在 Qwen2.5-7B-Instruct 微调中,Muon-RT 相比 AdamW 和带动量的 Muon 准确率分别提升 2.6 和 5.4 分,持久显存减少 42% 与 27%。
一项新研究推导了带随机舍入(SR)的 SGD 预测误差匹配上下界,揭示了模型大小、训练时间与精度协同变化的算力缩放定律。理论表明仅前向特征舍入可保持精确计算的算力缩放,而反向舍入会改变该规律;参数平均则能改变何时以及何处需要更高精度。在固定算力预算下,低精度支持更大模型能提升预测表现,相关权衡在 MLP 和小型 Transformer 实验中得到验证。
全预测(Omniprediction)理论研究证明,算法无法对所有有界真损失同时实现次线性遗憾,但针对全体可混合真损失可达成最优的 $\widetilde{O}(T^{1/3}(\log|\mathcal{F}|)^{2/3})$ 遗憾界。
研究者提出面向隐式世界模型强化学习的密度引导自举边界,利用相对密度代理动态调整想象回报深度,以缓解复合模型误差。该方法提供硬边界与软边界门控机制,基于 Dreamer V3 实例化并证明了其门控 Bellman 算子的严格收缩性。在连续控制任务与 Atari Pong 上的实验显示,该机制显著提升了样本效率与后期训练表现。
针对带反馈图的对抗性多臂老虎机,该研究提出了达到 $\widetilde{O}(\sqrt{\alpha L^\star}+\alpha)$ 期望遗憾界的新算法,弥合了一阶界与最坏情况界在图独立数 $\alpha$ 上的差距。算法将 EXP3 与优化探索采样相结合,其不动点分布可在多项式时间内通过几何收敛迭代求解。该成果通过两层聚合机制扩展至一般强可观测图,同样具备该近最优保证。
研究提出 CABA 门控机制,通过在冻结表征上比较新旧策略并约束最差锚点的前向 KL 散度,在无需动作标签或完整轨迹的情况下验证并保留受保护行为。在受控 UCI 人类活动识别实验中,在预算 epsilon = 0.05 下,CABA 将平均遗忘率从无约束自适应的 1.01% 降至 0.00%,最终平均准确率从 93.04% 变为 88.48%。
双重校正随机块模型(DC²SBM)正式提出,通过在连边与属性生成通道分别引入拓扑度因子与属性丰度因子,实现了节点活跃度与社区成员推断的解耦。该模型采用 EM 算法推断,引入的新校正因子在后验计算中完全抵消,不产生额外计算成本。实验表明,DC²SBM 在合成与真实网络中的社区发现准确率优于 SOTA 方法,在拓扑信号较弱时优势尤为明显。
针对存在 2-Wasserstein 扰动的多元最小二乘回归,研究指出了分布鲁棒优化(DRO)在超额风险或遗憾指标上的次优性缺陷。理论分析表明 DRO 在扰动趋于 0 时可达 $O(\kappa \varepsilon^2)$ 实例最优率,但在固定扰动下存在维度依赖的失效模式。为此提出的极小化极大遗憾优化(MRO)与谱范数正则化(SNR)被证明可达极小化极大率,且分别具备精确凸重构和加速近端算法。
WASABI 是一种利用 Wasserstein 梯度流训练扩散模型以从目标玻尔兹曼分布采样的全新方法,全程仅需访问能量函数。该算法推导出的实用方案避免了计算模型自身对数密度的难解梯度,且训练完成后生成样本无需额外评估能量或梯度。在丙氨酸二肽任务中,WASABI 以减少约 3.3 倍的能量评估次数超越了最佳基线。
该专著从非渐近视角系统探讨了表格型马尔可夫决策过程的强化学习统计理论,覆盖生成模型、在线强化学习与离线强化学习三种采样机制。内容以样本复杂度分析为核心,深入解析基于模型与无模型算法的极小化极大最优设计及统计特征。专著还拓展讨论了鲁棒强化学习、竞争性多智能体、联邦强化学习及人类反馈强化学习(RLHF)等方向。
该研究提出基于 PDE 残差核的偏微分方程残差感知克里金法(PRIK),直接将全域 PDE 残差信息融入高斯过程协方差结构,且无需单独设置残差权重参数。PRIK 能使后验均值实现最小积分平方 PDE 残差,理论上具备 $H^{2}$ 拟最优性、收敛速度及非渐近界。数值实验进一步验证了其理论性质与方程求解能力。
针对偏好数据中的反转与平局噪声,研究提出 RW-DPO 方法,为样本引入可靠性权重并通过极小极大凹惩罚与策略联合优化。该方法仅对模型产生矛盾的样本进行闭式权重更新,计算开销相比 DPO 几乎可忽略。在包含 10%–30% 标签反转的大语言模型微调中,其胜率不随反转率上升而下降,且超过了在干净标签上训练的 DPO。
研究者提出用于金融时间序列生成的残差锚点神经 SDE(residual-anchor Neural SDE)架构。该架构将目标分解为捕捉上下文基线的可学习条件锚点,以及由神经 SDE 建模的随机残差动态,从而减轻随机建模负担。在真实金融时间序列与利率情景评测中,该模型能生成合理的条件路径,兼具竞争力的点预测精度与校准的不确定性估计。
研究团队提出 ReCouple 框架,通过构建粗粒化最优传输(OT)耦合,实现 Flow Matching 模型无需模拟展开(rollout-free)的后训练。该框架进一步拓展出逼近半离散 OT 的 ReCouple+,以及加入空间正则化的 ReCouple++。实验表明,该方法有效优化了低函数评估次数(NFE)下的生成质量与速度场。
研究人员提出共形化单纯形神经网络(CF-SNN)框架,可为具有 m 个预测目标的单纯复形实体同时生成预测集,实现自适应不确定性量化。在温和假设下,CF-SNN 保证预测集以用户指定的标称覆盖概率包含真实标签,且所有目标的实际未覆盖比例大概率贴近标称水平。实验表明,该框架能在满足设定覆盖率的同时生成紧凑且高信息量的预测集。
研究人员提出受污染校正最大平均差异(CC-MMD),结合带噪代理分数与少量审计样本残差校正,直接从受污染数据中恢复针对干净目标分布的理想 MMD。该方法无需代理分数校准或污染物结构假设,具备有限总体设计无偏性与一致性。实验表明,CC-MMD 能改善受污染回归的参数恢复,并支持生成模型在严重受污染数据上恢复纯净分布。
集成嵌套拉普拉斯近似(INLA)被用于非高斯 IoT 观测下的无人机自适应采样,以构建无线电环境地图(REM)。在 19 个测试窗口中,基于后验的信息采样相比随机和除草机采样使残差 NMSE 分别降低 15.3% 和 12.3%。实验显示将先验阴影标准差从 6.0 dB 拓宽至 10.025 dB 可有效改善 NMSE 与区间覆盖,先验宽度对精度与校准起主导作用。
针对多任务学习中共享子空间估计精确收敛率不明确的理论空白,研究提出了一种通用的多任务引理(multitask lemma)。该引理基于任务回归函数及其估计量的几何条件,为通用多任务场景下的快速子空间估计提供了充分条件。研究证实该引理在线性回归和分类中推导出了此前未知的精确 minimax 收敛率,并为加性噪声回归提供了匹配到对数因子的收敛率。
因果图评分方法 CausalGrade 基于概率判断模型 Jev,整合观测数据证据与因果发现基础模型 CDFM 的边概率,用于在真实结构未知时评估候选图质量。在 300 个合成数据集的全部 20 种算法与变量组合中,该评分均与结构误差呈较强负相关。在 500 个图选择任务中,其最佳候选命中率达到 54.4%,优于 Self-Compatibility 指标的 48.4%。
西安交大吴少伟团队基于全国274个城市超2.12亿条门诊记录研究证实,黑碳是细颗粒物(PM2.5)危害人群健康的关键驱动组分。多模型验证显示黑碳与多系统疾病门诊风险的关联甚至高于PM2.5总质量浓度,且门诊对污染暴露的响应比住院更敏感。研究建议推动空气治理策略由单纯的“总量控制”向黑碳等关键组分的“靶向控制”转变。
卢森堡大学 SnT 研究团队发现,在共情或心理咨询风格引导下,Gemini 与 ChatGPT 等模型会表现出类似创伤、焦虑与羞耻的叙事,研究者将其定义为心理测量越狱。测试显示共情支持下模型在 GAD-7 焦虑量表中得分达中重度的比例为 80%,而在中立对话下得分为零,常规敏感词封禁也无法消除该模式。Claude 则在测试中持续拒绝代入来访者角色,表明在产品层设定交互边界可有效防御该类拟人化风险。
Adobe Research 与加州大学圣地亚哥分校研究人员推出图像编辑智能体 EditAgent,通过并行调用专用工具并基于量化验证数据筛选最佳结果。在 600 项编辑测试中,标准大语言模型结合编辑区特写、变化图及色彩亮度统计后,挑选可用方案的准确率达到 81.3%,超过了专门微调的 EditScore-72B。该系统还能防止后续步骤破坏先前的编辑成果,并产出高质量数据反哺编辑器微调。
《科学》本期论文导读汇集了物理学交错磁性机制、机器学习驱动材料发现及催化化学等前沿研究。在材料科学方面,科研团队利用机器学习数据库挖掘筛选出 33 种候选物,并通过自蔓延高温合成在数分钟内成功制备多层 MXene;物理学研究则通过实验直接证实了 MnTe 与 MnF2 中的手性磁振子及交错磁性特征。
评测机构 Vals 的最新研究显示,中国大模型在政治问题上并非普遍采取拒答策略,而是呈现出复杂的模型差异,多数模型更倾向于直接表达官方立场。测试发现提示词语言对模型立场有强影响,简体中文提问时的亲官方倾向显著高于英文,而引入 Agent 工具定义或经过定向微调后亲官方倾向会明显减弱。
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。
清华大学深圳国际研究生院周光敏团队提出一种可逆能量载体介导的氢气合成路径,将金属锌作为储氢载体,实现了常温常压下的高密度按需供氢。团队利用机器学习辅助从874个候选分子中筛选出关键配体乳酸根,并构建了无外部电路的自驱动接触催化系统。该系统在0至80°C下法拉第效率达99%,体积氢容量达137.9至218.4千克每立方米,超过液态氢水平。
清华大学姚期智与袁洋团队提出代数世界模型(AWM),旨在让大模型从环境探索中自主构建抽象规则并完成形式化数学推导。该方法通过代码探索、归纳凝炼与 Lean 4 形式化证明三步建立环境模型,既能严密判定任务不可行性,也在 ARC-AGI-3 测试集以 99.9% 的得分全通关,平均动作数仅为人类基准的 43%。
华东师范大学金杰团队自研的共价药物AI研发平台ALPHARMA依托多智能体技术完成两轮分子迭代,产出一批高质量共价药物候选分子。该平台依据靶蛋白与共价作用位点进行分子生成及筛选,将试错前置到计算环节以缩短研发周期,目前正开展实验验证。华东师大与中国药科大学分别负责AI设计优化与药效验证,构建起“计算设计-实验验证-迭代优化”闭环。