Echo：面向大语言模型训练与推理的误差补偿 4-Bit 张量并行通信
研究者提出面向大语言模型训练与推理的 4-bit all-reduce 方案 Echo，通过高精度求和与误差反馈消除累积量化误差，且无需 FP8 或 FP4 硬件。
#arXiv
#arXiv
今日 0 条arXiv cs.AIAI 评分4141 arXiv cs.AIAI 评分4848 Harness^2：面向开放世界的递归式 AI 智能体框架优化
研究者提出了即插即用的递归式 AI 智能体执行框架 Harness^2，通过任务级与框架级双层递归，在无需真实标签验证器的情况下自适应优化执行环境并泛化到新任务。
arXiv cs.AIAI 评分4343 SLM 应该占据主导吗？云端生成代码与端侧小模型解释器混合架构研究
研究者提出一种兼顾隐私与性能的混合架构，由云端大模型生成智能体程序，在设备端执行时通过普通函数调用将涉及用户数据的局部理解任务交给本地 SLM 处理。在 AppWorld 基准测试的所有 6 种骨干模型与测试集组合中，该方法将纯代码智能体的成功率最高提升了 14.9pp。该方案在确保用户私有数据完全保留在设备端的同时，大幅弥补了与全云端 ReAct 循环之间的性能差距。
arXiv cs.AIAI 评分3636 MOSAIC：面向视觉语言模型的 patch 级训练样本归因方法
研究人员提出 MOSAIC 方法，通过学习共享的稀疏图文潜在空间，实现视觉语言模型（VLM）在图像区域与文本短语层面的细粒度训练样本归因。该方法结合 EK-FAC 将样本影响分解到具体概念并定位其贡献，已在 Qwen 与 Gemma 上完成图像描述、胸部 X 光理解和视觉问答评测。实验表明消融影响度排序的潜在特征比基于激活或频率的基准更能改变模型输出。
arXiv cs.AIAI 评分4141 可视化 AI 智能体价值函数中的世界模型
研究人员通过反事实干预方法探究了无模型强化学习算法是否会在其价值函数中形成环境的世界模型。在 Crafter 环境下的 Proximal Policy Optimization 智能体实验表明，尽管仅以优化奖励为目标进行训练，其价值函数依然学会了钻石收集规则、水和食物对健康的影响以及物品清单启发式规则等概念。该研究同时探讨了相关可视化对 AI 安全的启示及当前强化学习智能体的局限。
arXiv cs.AIAI 评分4646 基于开源权重模型的无限制 CTI-REALM 基准评测
研究人员在网络安全威胁检测基准 CTI-REALM 上评估了 19 个开源权重模型和 7 个闭源模型，发现在放开消息轮数限制后，开源权重模型能以不足十分之一的成本匹敌最强闭源模型，甚至取得最高奖励得分。研究指出原基准的消息限制掩盖了真实表现，价格与模型能力并不完全挂钩。此外，针对工作流各阶段的细分评估显示不同模型在不同阶段各具优势，宜按阶段进行路由调用。
arXiv cs.AIAI 评分3333 VETNET：构建驱动兽医 AI 创新的基准数据集
研究人员推出了 VETNET，这是一个由实时基准数据集和评估框架组成的生态系统，旨在通过标准化、高质量的数据集推动动物科学与兽医学领域的 AI 创新。该框架通过学术界与非学术界的多机构协作构建，旨在弥合人类医学 AI 进展与兽医 AI 碎片化发展现状之间的差距。
arXiv cs.AIAI 评分4444 Long-Horizon-Terminal-Bench 2.0：自动化多样化任务构建与衡量 AI 智能体持续进展
研究人员推出 LHTB 2.0 基准，包含涵盖 13 个领域和 8 种任务类型的 77 个任务，并将评测时长从 90 分钟延长至 3 小时，每 30 分钟记录一次检查点以衡量智能体的持续进展。
arXiv cs.AIAI 评分4141 扩散模型的校正训练方法
研究人员提出一种用于扩散模型的校正训练方法，通过在去噪步骤中引入校正器迭代优化预测，以缩小训练与推理间的曝光偏差差距。该方法在 DiT、SiT 和 JiT 上显著改善了无引导及无条件生成的 FID 分数，效果可媲美 CFG，且结合 CFG 能提升多样性并减少过饱和。校正带来的额外推理开销还可通过蒸馏回基础模型消除，在无额外推理成本下保留质量提升。
arXiv cs.AIAI 评分4343 ClawLoop：基于测试框架原生训练循环的自我改进智能体
研究人员提出 ClawLoop 框架，无需外部教师模型即可通过任务合成、SFT 或 RL 训练以及诊断反馈三阶段循环实现 AI 智能体自我改进。以千问 Qwen3.6-27B 作为循环模型，该框架在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上均取得持续提升。
arXiv cs.AIAI 评分5252 论文揭示数据科学智能体中的静默失败
研究人员针对数据科学智能体展开系统评估，指出仅依赖下游预测指标和代码正确性会掩盖数据泄露与不当验证等方法论缺陷。通过跨 220 个数据科学任务的分析与测试套件验证，研究发现绝大多数智能体方案均存在至少一种失败模式，且数据泄露与高预测表现正相关。对比 Kaggle 竞赛专家方案，现有智能体在解决问题的创造力与领域知识上仍存在明显不足。
arXiv cs.AIAI 评分4848 人工智能的首场大考：基于 LLM 引用的超智能 C-test 评测
研究人员提出了首个基于 Levin's Kt 并以大语言模型作为表征机器的测试方法，用于评估可能超越人类与现有 AI 的超智能系统。该方法利用归纳推理反向问题生成高难度测试项，难度采用以比特为单位的比例尺度估算，并构建了轻量化生成与认证流程。团队制作了首套认证测试项并对 12 个大语言模型展开评测，成功验证了覆盖超智能区间的测试能力。
arXiv stat.MLAI 评分3535 流匹配处理序列数据是否只是轨迹重放？
研究探讨了流匹配（FM）在序列数据生成与预测中是学到了可迁移的动力学结构还是仅进行轨迹重放，推导出常用高斯条件路径下驱动速度场可表示为观测转移瞬时速度的加权混合闭式解。基于该非参数目标，作者提出了免训练的闭式实现 FreeFM。FreeFM 无需训练即可直接利用历史转移生成有效的概率预测，为序列流匹配提供了可解释的分析基准。
arXiv stat.MLAI 评分3535 噪声感知差分隐私变分推断
研究人员提出了一种基于随机梯度变分推断的噪声感知近似贝叶斯推断方法，可应用于高维和非共轭模型，并同步提出了更精确的噪声感知后验评估方法。实验表明，该方法在适用领域内性能与现有方法相当；在现有方法不适用的场景中，在高维贝叶斯线性回归上获得了准确的覆盖率，并在 UCI Adult 数据集的贝叶斯逻辑回归上实现了校准良好的预测概率。
arXiv stat.MLAI 评分2626 利用生成模型检验条件分布等价性
研究人员提出一种利用生成模型检验条件分布等价性的新测试方法，通过结合观测数据与合成样本来比较条件分布。该方法引入样本分割与学生化方案控制估计误差，在零假设下检验统计量呈渐近正态分布，且理论上仅需所学条件分布满足一致性。实验表明，在高维设定下该方法相比代表性核方法具备准确的尺寸控制与更高的检验功效。
arXiv stat.MLAI 评分2626 在线凸优化中追踪少量专家的遗憾界与计算复杂度研究
研究针对连续动作空间在线凸优化中追踪仅在 $m$ 个专家间切换 $k$ 次的比较基准问题，证明了信息论最优与多项式时间可达遗憾界之间的计算复杂度分离。虽然离散化动作空间可实现 $\widetilde{O}(md+k)$ 的非高效算法，但在超图植入团猜想下，任意多项式时间算法的遗憾界至少为 $(k\sqrt d)^{1-o(1)}$。
arXiv stat.MLAI 评分3535 动量何时能在可验证奖励强化学习（RLVR）中发挥作用？
研究针对可验证奖励强化学习（RLVR）中一阶动量的有效性提出理论分析，证明在避免超调的安全范围内增大指数移动平均（EMA）系数 $\beta$ 可严格加速优化。
arXiv stat.MLAI 评分3636 分数阶更优：神经算子学习中的可学习导数阶数
研究人员提出用于神经算子的架构无关增强方法 $\partial$-NO（del-NO），通过为任意骨干网络引入可学习的分数阶导数特征来提升偏微分方程求解精度。理论证明输入导数特征可将逼近误差界从 $O(W^{-(s-m)/d})$ 优化至 $O(W^{-s/d})$，但最优导数阶数 $\beta^*$ 严格小于方程阶数 $m$。
arXiv stat.MLAI 评分3434 超越专家排序：用于混合精度 MoE 量化的对比度校准框架 NatScale
研究人员提出混合精度 MoE 量化分配框架 NatScale，通过特定模型的幂变换将基于梯度的专家权重校准至对比度目标，同时保留排序。该方法联合评估每个专家的 gate、up 和 down 配置来估计输出误差，并在存储预算下优选精度配置。
arXiv stat.MLAI 评分2828 用于调查加权的分层高斯过程：结构化总体中的局部等效权重
研究人员提出了基于分层高斯过程（HGP）回归的调查加权框架，通过结合结构化群组效应与核平滑来处理稀疏后分层单元中的复杂交互。该方法推导了利用结构化协方差降低计算成本的高斯后验预测公式，建立了后验预测均值的一致收敛性，并通过一阶敏感度匹配构建局部等效权重。
arXiv stat.MLAI 评分3636 SpectrumQuant：基于谱对齐的 LLM 量化方法
研究人员提出面向 LLM 训练后量化的闭式正交旋转方法 SpectrumQuant，通过校准数据估计激活协方差以实现谱对齐。该方法将量化友好型旋转解构为对齐与混合组件，并涵盖了 Hadamard 矩阵与蝶形矩阵。在 Llama 和 Mistral 上的实验表明，其表现媲美 SOTA 策略，GPU 显存需求不足 SpinQuant 和 DartQuant 的 1/3 且耗时显著缩短。
arXiv stat.MLAI 评分4242 从柏拉图到亚里士多德：迈向表征假说的通用理论
研究人员提出晶格表征假说（LRH），将不同表征对齐标准统一在同一个格结构中，以解释关于模型表征收敛的不同观点。LRH 表明柏拉图表征假说主张的收敛处于格顶端，而其支持证据主要来自近底端的邻域重叠，并指出亚里士多德假说中排除全局收敛可能源于跨层最大值校准。该结论在数十个预训练视觉与语言模型及数千次理论模型运行中得到了实验验证。
arXiv stat.MLAI 评分3030 MAEM：用于类增量图学习的免重放、容量受控动态混合专家框架
研究人员提出用于类增量图学习的免重放动态混合专家框架 MAEM，以缓解近期学习类别主导预测的近期偏差。该框架基于 SGC 为每个新会话训练并冻结专用专家，利用掩码自编码器（MAE）的重建误差实现无任务 ID 和无共享路由器的测试节点分配。当专家池达到固定容量时，MAEM 通过 Git Re-Basin 对齐并蒸馏最少使用的专家，在 4 个图基准测试中均超越了现有持续图学习基线。
arXiv stat.MLAI 评分2929 利用混合整数线性规划优化稀疏布尔规则网络
研究提出利用混合整数线性规划（MILP）训练稀疏析取范式（DNF）网络，在固定结构下显式权衡分类误差与稀疏度以全局优化布尔规则。该方法大幅减少了整数决策变量并消除冗余约束，结合初始化与 dropout 打破规则权重对称性。合成基准与 UCI 数据集实验表明，其计算效率明显提升，准确率持平或优于 SAT 及主流规则与树模型基线。
arXiv stat.MLAI 评分2626 基于广义全变差最小化的最小二乘联邦学习高维分析
研究人员针对去中心化网络中基于广义全变差最小化（GTVMin）的最小二乘联邦学习开展了高维理论分析。该研究利用随机矩阵理论工具，证明了在任意网络结构下全局 GTVMin 解的 Lipschitz 观测值在高维环境中均表现出集中性。
arXiv stat.MLAI 评分4242 双曲目标导向强化学习效果超越 1000 层欧氏网络
研究人员提出双曲对比强化学习（Hyperbolic CRL），将目标对比目标中的欧氏距离替换为双曲空间测地线距离，解决了复杂导航中路线与欧氏距离严重偏离的问题。在困难导航任务中，仅 64 层深度的双曲智能体表现超越了 1024 层欧氏网络，同时训练速度提升超 12x，参数量减少约 13x。该方案代码已开源。
arXiv stat.MLAI 评分2828 用于推断分数布朗运动参数的最大似然法、神经网络与后验均值
研究人员通过最大似然估计（MLE）、神经网络与后验均值联合推断分数布朗运动的 Hurst 指数 $H$ 和广义扩散系数 $D_H$。平方误差损失训练的神经网络近似了 $H$ 的后验均值，结合 $D_H$ 的剖面似然估计，除 $H$ 接近 0 和 1 外均取得最低均方根误差。
arXiv stat.MLAI 评分3535 Neural Wasserstein Splines：用于轨迹推断的表征不变二阶先验
Neural Wasserstein Splines（NWSP）提出了一种在 Wasserstein 平滑先验下学习连续群体演化曲线的方法，无需数值积分即可直接生成任意时刻的样本。该方法通过标量势字典构建内蕴 Wasserstein 加速度的有限维代理，并具备可证明的表征不变性。在合成与单细胞基准测试中，NWSP 在 16 个测试设置中有 11 个位列前两名，并在 13 个设置中优于无正则化样条。
arXiv stat.MLAI 评分3333 基于通用函数近似的高效上下文部分监控
研究人员提出了一种支持通用函数近似的高效上下文部分监控框架，基于在线回归预言机估计结果分布，并在全局与局部可观测设定下实现了关于 $T$ 的最优悔值阶。该方法还包含一个可结合离线回归预言机的变体，并在合成标签高效预测博弈及 LLM 路由任务中展现出优于现有方法的性能。
arXiv stat.MLAI 评分3636 基于正无标记学习的扩散模型渐近精确负向引导方法
研究者提出一种基于正无标记学习（Positive-Unlabeled learning）的扩散模型负向引导方法，能直接从显式目标概率密度中进行采样。该方法在扩散轨迹上进行轻量在线训练来估计样本属于非期望条件的概率，并利用序贯蒙特卡罗（Sequential Monte Carlo）修正漂移偏差，在粒子极限下达到渐近精确。实验表明，该方法在高斯混合模型及预训练图像生成场景中均优于现有方法。
arXiv stat.MLAI 评分3333 从全局收敛到尾部收敛：α-稳定得分生成模型的动力学分析
研究者提出了针对尺度保持 α-稳定得分生成模型的非渐近收敛性分析，涵盖紧支撑与幂律目标分布。在 p-Wasserstein 距离下，该模型与布朗扩散动力学的初始化误差均呈指数衰减，表明全局收敛性并未根本区分两者。但在尾部分布上出现显著差异：稳定动力学会产生指数为 α 的幂律尾部，且仅当 α=ν 时才能实现渐近正确的极端分位数缩放。
arXiv stat.MLAI 评分3333 基于高斯替代反向动力学的退火莱维扩散模型 ALD
研究人员提出退火莱维扩散模型 ALD，通过动态调整稳定性指数 $\alpha(t)$，将重尾探索能力与高斯精细化采样相结合。该方法将稳定噪声表示为标量高斯尺度混合，仅需增加一个尺度输入即可复用标准高斯噪声预测训练，并提供 ALD-renoise 与 ALD-posterior 两种采样流程。
arXiv stat.MLAI 评分3333 用于策略优化的函数空间时间自蒸馏方法 FSPO
FSPO 是一种面向策略优化的单策略自蒸馏框架，通过将稀疏历史 next-token 分布存为固定时间目标，无需维护常驻教师模型即可提供稳定指导。在推理与工具调用基准中，FSPO 在 5-hour 训练预算下取得最高平均准确率，比最强基准提升约 4% 个百分点。在 Olmo3-7B-Instruct 上，其峰值显存从约 70 GB 降至 56 GB。
arXiv stat.MLAI 评分2727 零阶非凸优化的全局联合下界研究
该研究在无限制全空间设定下证明了零阶非凸优化的全局联合下界。针对平滑随机非凸优化，研究建立了 $\Omega(dL_0^2\min\{\Delta H,L_0^2\}/\epsilon^4)$ 的标量预言机下界，并通过平滑归约证明了 Goldstein 平稳性对 $(d,\delta,\epsilon)$ 依赖的联合极小极大最优性。
arXiv stat.MLAI 评分2727 随机洗牌随机梯度下降（RR-SGD）的大步长最后迭代收敛性
针对凸且 L-光滑分量的无约束有限和优化问题，该研究建立了标准随机洗牌随机梯度下降（RR-SGD）最后迭代的期望目标差距界。在常数步长满足 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 条件下，该方法通过在随机比较点保留采样偏差，成功消除了步长限制中显式的 $1/n$ 因子。结合现有小步长界，该结果在对数因子范围内匹配了对应的平均迭代收敛率。
arXiv stat.MLAI 评分2727 模型误设下受测量限制线性回归的子数据选择
研究人员提出了针对线性回归子集选择的新框架 ELOS（Expected Loss Optimal Selection），以解决因响应变量获取成本高昂且可能存在模型误设时的样本测量选择问题。该方法以预测期望损失为目标，生成仅依赖协变量信息的 A-optimality 型准则，在选择阶段无需任何响应观测值。模拟研究和真实数据应用表明，ELOS 在多种场景下均具有出色的预测表现与稳健性。
arXiv stat.MLAI 评分3838 嵌入几何对 LLM 路由的影响：失效模式探究与泛化提升
新研究发现语义嵌入的邻近特征无法可靠指导未知任务的模型选择，导致 LLM 路由泛化受限。为此，研究团队提出运行 Qwen2.5-7B-Instruct 的部分前向传播，取其深层最后 token 的 hidden state 作为替代特征表征。配合 kNN 等简单分类器，该方案超越了所有语义嵌入基线，并在 RouterBench 上击败了近期基于 hidden states 的 SOTA 路由器。
arXiv stat.MLAI 评分4444 自适应对抗下具身与Agentic AI统计安全保证的局限性
研究指出有限安全评估无法防范在获得认证前保持正常、认证后才激活攻击的自适应对抗者。在RoCo协作模拟中，策略切换导致认证后36个回合中出现34次违规；AgentDojo测试中每4个任务延续会增加1.98次安全违规。采用永久撤销机制的混合似然比监控器可有效限制超额风险，在对抗控制下将每24个任务的违规数从12.00次降至3.81次。
arXiv stat.MLAI 评分2626 网络关联数据的概率网络线性回归框架
研究者提出了一种用于网络关联数据的概率网络线性回归分析框架，在兼顾网络形成随机性的同时融合了同伴响应加权与网络内聚性捕捉。该方法采用两步似然流程，先估计网络结构再拟合响应模型，并证明了稀疏网络下的网络恢复保证及回归估计量的一致性与联合渐近正态性。仿真研究与外交网络数据分析验证了该方法的估计性能与实际应用价值。
arXiv stat.MLAI 评分2727 零和博弈学习中的 Thompson 采样研究
该研究探讨了具有高斯 bandit 反馈的未知有限双人零和矩阵博弈中的 Thompson 采样（TS）。在中心化自我对弈下，对于具有唯一样本纳什均衡的任意固定零和博弈，其期望累积对偶间隙达到 $O(\sqrt T)$，在纯策略均衡下更可提升至 $O(\log T)$。研究还给出了匹配的极小化极大下界与特定实例对数下界，实验验证了理论预测的收敛速率。