面向 Bayesian LoRA 的先验预测匹配
研究人员提出针对 Bayesian LoRA 的闭式先验预测匹配估计器，可在微调前直接确定低秩权重更新的先验超参数。理论证明最优先验精度与秩 $r$ 呈 $r^{-1/2}$ 缩放关系，单次估计即可在所有 rank 间泛化。在 RoBERTa-large 上，该方法无需验证数据即可改善预测 NLL 与模型校准度，并展现出具有竞争力的分布外检测能力。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3535 arXiv stat.MLAI 评分3636 机器遗忘应以风险感知的输出控制为核心
针对偏见、毒性、模型幻觉和敏感信息泄露等缺陷，机器遗忘（Machine Unlearning）应优先聚焦具备统计保证的输出空间控制，而非参数空间的相似性。现有追求与从头重训模型参数不可区分的目标脱离实际，而输出控制能提供严谨鲁棒的目标与可解释保证，并可扩展至现代部署场景。该观点已获得实证证据与理论结果的支持。
arXiv stat.MLAI 评分4747 Scaling Law 估计中的罗生门效应与拟合挑战
神经网络 Scaling Law 的常规拟合存在罗生门效应，即截然不同的参数设置虽然在既有数据上拟合度接近，但在大规模外推时预测结果会出现实质性分歧。研究提出了一种确定性分支定界算法，不仅能保证获得近最优的拟合损失，还能穷举映射出所有近似最优解所对应的完整缩放曲线范围。
arXiv stat.MLAI 评分3333 函数型数据的合成数据增强：Wasserstein 风险界与基于扩散模型的条件生成
针对采集成本高昂的函数型数据，研究提出基于类别条件函数扩散模型的合成数据增强方法，并在 Wasserstein-1 距离下给出了理论风险界。理论推导出了最优合成曲线数量与合成数据超越真实数据的条件，同时界定了类别不平衡下的超额风险。在温度、高光谱和步态曲线实验中，该方法提升了分类与函数回归表现，向少数类补充样本收益最高。
arXiv stat.MLAI 评分3535 表征形成的信息几何学
研究提出将神经网络表征学习视为几何轨迹，利用 Bures 几何与量子 Fisher 信息量化内部结构的动态形成过程。实验发现计算所需的输入交互阶数越高轨迹越曲折，且路径曲折度能准确预测表征在持续训练中的漂移与参数微扰敏感性。此外，该形成几何还能通过表征感知优化进行主动干预与塑造。
arXiv stat.MLAI 评分2727 联合稀疏样本加权与参数估计的非凸框架
研究人员提出 SWAPE 框架，通过联合优化模型参数与样本权重，在训练模型的同时为每个训练样本分配独立权重。该框架兼容凸、弱凸和差凸等多种损失函数，并采用基于 majorize-minimize 技术的交替最小化算法求解且保证算法收敛。多项学习任务与数据异常实验表明，该方法相比基准方法能更有效降低不良数据点的影响。
arXiv stat.MLAI 评分3636 标签噪声下早停何时有益？核梯度流的相图分析
新研究通过核梯度流推导高维学习曲线与相图，表明即便存在大量不可约标签噪声，模型插值表现仍可优于早停。CIFAR10 实验显示，浅层模型后期测试误差会恶化，但更大更深的卷积网络在拟合全部随机标签后早停需求基本消失。理论分析表明，学习共享关系的线性核与拟合噪声的高阶核之间的平衡，决定了早停是否必要及插值能否达到最优泛化。
arXiv stat.MLAI 评分2727 受限参与下的 Hessian 相似性优化：下界与虚拟主节点
针对每轮最多联系 $m$ 个客户端中 $s$ 个的受限参与 Hessian 相似性优化，研究推导出了零保持局部算法在强凸二次函数上的轮数下界 $\Omega((m/s)\sqrt{\min\{\delta_a,\bar\delta/\sqrt m\}/\mu}\,\log(1/\epsilon))$。
arXiv stat.MLAI 评分3131 高保真联邦表格数据合成框架 FITS
研究者提出联邦表格数据合成框架 FITS，针对联邦学习场景下的混合类型表格数据解决分布保真度与混合变量处理难题。该框架核心是基于局部线性回归估计条件累积分布函数（CDF）的两步联邦算法，并通过连续化方法在密度函数与 CDF 层面无损恢复离散分布。实验表明，FITS 生成的合成数据能够提升所有客户端的下游任务表现。
arXiv stat.MLAI 评分3434 深度线性网络中增加深度可改善困难任务的训练时间缩放
最新理论研究通过对深度线性网络的分析表明，任务谱决定了网络深度对训练时间缩放的影响，增加深度能提升谱困难任务的渐进训练时间缩放指数，而简单任务的指数与深度无关。研究进一步提出由预测器范数主导的时间重参数化，可统一描述不同难度下的动态，且重参数化后的损失缩放指数与深度无关。基于基准图像数据和非线性网络的数值实验也呈现了一致的定性结果。
arXiv stat.MLAI 评分2828 超越 Wasserstein 邻近度：寻找更优的迁移源
新研究提出超越 Wasserstein 邻近度的迁移源选择方法，表明更宽的源变异性有助于提升迁移效果。
arXiv stat.MLAI 评分2727 基于树模型的健康数据合成：顺序设定对比全条件设定
研究对比了基于决策树条件分布模型的顺序设定与全条件设定在合成医疗数据中的表现，通过多项风险与效用指标评估数据质量。结果显示两种设定在综合表现上并无普遍优劣：顺序合成对变量排列顺序较为敏感，而全条件设定涉及更多超参数且计算成本更高，可能限制其作为开箱即用合成方案的适用性。
arXiv stat.MLAI 评分3434 HIFI：面向基础模型的高效统计推断框架
HIFI 是一种面向基础模型的高效统计推断两阶段微调框架，相比直接重抽样可减少高达 91.9% 的训练算力。该框架先通过单次适配控制估计偏差，再利用轻量 PEFT 拟合残差来量化变异性，支持非参数 bootstrap 等多种重抽样方法。其在视觉和文本任务中支持数千万至超过 100 亿参数的模型，可提供精准点估计与良好校准的置信区间。
arXiv stat.MLAI 评分2828 紧致子流形上基于投影且具有几何无关差分隐私的联邦学习
DP-RFedProj 是一种针对紧致子流形的差分隐私联邦学习方法，通过闭式投影聚合参数并在固定环境几何中保护梯度。该方法提供显式记录级 $f$-DP 保证，收敛速率受流形内在维度而非环境维度影响，支持客户端运行各类一阶优化器。在 Stiefel 流形上的 SPDNet 实验中其表现优于欧氏基线，相同预算下添加噪声比最相近方法减少 5 到 6 倍。
arXiv stat.MLAI 评分3030 基于弱学习器的仿射不变三次牛顿法
研究者将仿射不变三次牛顿法（AICN）推广至带弱学习器的凸优化，提出 weak-AICN 并将其更新简化为带显式步长的阻尼弱牛顿步。在半强自协调条件下，该算法实现 $\mathcal{O}(1/\overline{\Theta}_k^4 k^2)$ 的全局收敛速率，显著优于 weak-GRN 的理论界。论文还提出了自适应调节正则化的 weak-AdaAICN，并证明牛顿坐标下降是该优化框架的特例。
arXiv stat.MLAI 评分3131 黎曼流形上平均随机梯度下降（RSGD）的在线协方差估计
针对流形上的平均黎曼随机梯度下降（RSGD），研究人员利用向量传输构建了重叠与非重叠在线协方差估计器，实现流形环境下的在线统计推断。该方法无需计算黎曼 Hessian 矩阵或预设终止样本量，收敛速度达到欧几里得空间对应方法水平，并在 Grassmann 流形的流式主成分分析（PCA）中得到验证。
arXiv quant-phAI 评分3030 利用量子哈密顿量下降实现参数化线路的全量子训练
研究提出利用量子哈密顿量下降（QHD）在量子计算机上直接完成参数化量子线路的全量子训练，通过编码参数的量子比特相干控制第二寄存器上的线路。该方法证明了模拟误差界与网格分辨率无关且最多随参数数量线性增长，并可通过动力学调度最小化量子门数量。基准函数与参数化线路测试显示，该设计在同等成本下显著提升了找到全局最小值的概率。
The DecoderAI 评分6464 研究发现导致 AI 文本阅读疲惫的六种语言模式
纽约大学与德克萨斯大学奥斯汀分校的研究团队分析 14 款语言模型后发现，AI 文本因过度使用罕见搭配、主谓远距离分隔、堆叠名词等六种句式而显著增加人类阅读负担。这一现象主要由后训练从 RLHF 转向追求信息密度与逻辑正确性的强化学习所致，小参数量基础模型反而更接近人类表达习惯，而定向微调能有效提升文本的清晰度。
arXiv quant-phAI 评分3333 基于泡利传播的大规模浅层参数化量子电路经典预训练与量子硬件部署
研究人员提出基于泡利传播（Pauli propagation）的优化框架，通过反向传播可观测量在经典硬件上直接最小化损失函数，实现大规模浅层参数化量子电路的预训练。该方法配合截断与剪枝策略，在 64-qubit 电路的二维伊辛模型变分量子本征求解器（VQE）及图像生成基准上完成验证，并将参数成功部署至 IBM 量子处理器 ibm_berlin。
arXiv cs.AIAI 评分4141 POSEIDON：基于代码库规模化构建科学智能体训练环境
研究人员提出自动化管线 Poseidon，可从科学代码库大规模生成可验证的训练环境，提取数量比前序方法多近 10 倍。利用 Poseidon 构建的 Pearl 包含跨 10 个学科、7,110 个公开代码库的 97,659 个可执行环境。经 Pearl 训练的 Qwen3.5 模型（9B、27B 和 35B-A3B）在 6 个科学智能体 benchmark 上均取得持续提升。
arXiv cs.AIAI 评分3333 多模态强化学习：从视觉亲和力到学习信用分配
研究提出插件式框架 Outcome-Conditioned Visual Credit（OVC），将多模态强化学习中的视觉关联度度量与 token 级信用分配解耦。该方法无需辅助奖励模型、过程标注或推理期模块，直接复用现有采样数据调制 token 梯度贡献。在 3 个模型上，其实例化方案使 6 项基准测试平均准确率相较 GSPO 持续提升 1.86-2.39 个百分点。
arXiv cs.AIAI 评分3737 在 MXFP4 下训练 MoE LLM：如何缩小与 BF16 的差距
开源方案 ALTO 结合随机阿达马变换、随机舍入及权重去振荡技术，在 MXFP4 格式下训练 20B 参数的 MoE 模型 GPT-OSS-20B。在 C4 验证集上，该方案在 16,128 步时验证损失达 3.3350，仅比 BF16 基线高 0.007，弥补了约 50% 的差距。达到 MLPerf 质量目标时，去振荡将 FP4 相对 BF16 的收敛步数开销从 +20.0% 降至 +5.0%。
arXiv cs.AIAI 评分4242 HyScale：面向可学习稀疏注意力的长上下文训练系统
HyScale 是一套面向可学习稀疏注意力的长上下文训练系统，通过 HyTopK 免分数表检索与选择复用（selection replay）机制消除训练瓶颈。在 512 张 H20 GPU 上，该系统将 GLM-5.1 在 1M token 序列上的训练速度较 Megatron-LM 提升 2.07x。
arXiv cs.AIAI 评分3737 RSI-Opt：用于模型训练的递归自改进优化器智能体
研究者推出即插即用优化器智能体 RSI-Opt，通过元智能体演化提示词、代码库及策略来递归自改进模型训练过程。在演化套件上配合 Opus 5.5 时，其摘要 z-score 从 +10.48 增至 +14.33，向 GPT-5.5 迁移在保留任务达 +3.11。
arXiv cs.AIAI 评分4141 超越 On-Policy 与 Off-Policy：LLM 智能体蒸馏应在哪个层级依随学生？
一项新研究提出分层 LLM 智能体蒸馏框架，将策略依随拆解为交互历史诱导与当前动作前缀生成两个层级。跨 3 个模型与 4 个交互环境的实验显示，学生诱导历史搭配教师动作前缀可提供最强独立训练信号，而双层级完全依随学生效果最差。此外，前期前置教师生成上下文、后期引入全 on-policy 上下文的训练调度显著优于静态混合。
arXiv cs.AIAI 评分5050 Self-Directed Repair：将 AI 智能体的错误转化为持久经验
研究人员提出 Self-Direction 机制，让 AI 智能体在失败后反思并将经验蒸馏至仅占基座约 0.02% 参数量的轻量低秩适配器，存入持久库按需自动路由。在基于 Qwen 模型的实验中，该机制在 GAIA、Claw-Eval 与 Terminal-Bench 2.1 上的成功率提升 8.9 至 17.0 个百分点，修正可靠性提升近一倍，且能直接泛化至数十个新任务。
arXiv stat.MLAI 评分4444 NeuroMAS：基于联合强化学习将多智能体系统构建为神经网络架构
NeuroMAS 将多智能体系统建模为类似神经网络的可训练架构，以 LLM 智能体为节点、文本信号为边，通过强化学习自主协调与分工。该框架在层次化分解任务中更具参数效率，实验性能显著优于推理期和已训练的多智能体基线。研究还发现系统扩展具有路径依赖性，可通过小型系统渐进增长实现大型系统的有效训练。
arXiv stat.MLAI 评分3535 POETS：通过高效策略集成实现感知不确定性的 LLM 优化
POETS 提出了一种计算高效的策略集成 LLM 优化框架，通过共享预训练主干与独立 LoRA 分支直接捕捉认知不确定性，省去了繁琐的奖励模型训练流程。该框架在理论上近似累积遗憾界为 $O(\sqrt{T \gamma_T})$ 的 Thompson 采样，并在蛋白质搜索、分子设计及代码生成等强化学习任务中取得了 SOTA 样本效率。
arXiv stat.MLAI 评分2828 协变量偏移下的潜空间重要性加权
新研究提出一种针对协变量偏移的迁移学习算法，通过在低维潜空间而非高维原始空间中估计特征密度比，实现样本重加权与表征学习的结合。该方法在理论上建立了目标域过量风险率等有限样本界限，并给出了维度与方差对比分析。模拟与真实数据集实验验证了潜空间加权的性能收益，同时也揭示了其对初始化和域选择的敏感性。
arXiv stat.MLAI 评分3535 大批量训练中的动量：Polyak 扩大临界批量，Nesterov 提升数据效率
研究表明，大批量训练中 Polyak 动量能扩大临界批量以支持更高并行度且不牺牲数据效率，而 Nesterov 动量通过前瞻机制抑制噪声积累，在大批量机制下实现更高的数据效率。该研究在单遍训练与幂律核回归设定下推导了临界学习率与全风险动态标度律，并给出了揭示动量角色变化的三区域批量相图。
arXiv stat.MLAI 评分3434 基于随机李雅普诺夫稳定性的大步长 SGD 交叉熵损失收敛性研究
该研究通过随机李雅普诺夫稳定性，为大步长 SGD 在多分类交叉熵损失下的线性分类器和双层神经网络提供了收敛保证。分析显示 SGD 随机性会使训练在曲率振荡的稳定边缘与受控下降状态间交替，但能确保迭代在固定步数内重归稳定。这证明了即便使用大学习率也能在最优迭代（best-iterate）意义下收敛，实验同时验证了大步长 SGD 的优势。
arXiv stat.MLAI 评分2929 带反向耦合的 Neural LoFi：跨层特征学习的谱理论
研究团队提出了带反向耦合的 Neural LoFi 理论框架，通过模拟反向传播中后层对前层表征的重塑作用，构建了跨层特征学习的谱理论。该算法利用上层敏感度为前序谱步骤生成样本相关的有效标签，可恢复纯前向统计无法捕获的底层特征方向。在二分类 CIFAR-10 实验中，全连接与卷积网络在同等宽度下均取得了优于前向 Neural LoFi 的准确率。
arXiv stat.MLAI 评分3030 Token 感知机的泛化特性：Embedding 与词表的作用
研究人员提出可解析求解的“token 感知机”极简模型，利用副本方法揭示了 embedding 空间几何与词表对 token 预测泛化误差的影响。在连续球面 embedding 设定下，模型在样本负载达到 $\alpha_{\rm rec}=d^2/(d-1)$ 时能精确恢复 teacher 模型。面对离散词表时，贝叶斯最优学习器会优先解析词表方差最大的几何方向。
arXiv stat.MLAI 评分1818 长期 LoRaWAN 网络的数据质量审计与温湿度双变量分析
研究团队针对 Tour Perret 长期 LoRaWAN 网络数据集提出 C++17 处理流程，通过审计剔除缺失变量后，聚焦分析 205,005 帧温湿度数据。
arXiv stat.MLAI 评分3434 重新思考长尾数据下监督对比学习的表征几何
新研究针对长尾数据下的监督对比学习提出表征几何分析框架，指出代表性对比目标因依赖类别样本量，在最优状态下无法形成正单纯形几何。为此，作者提出结构平衡方法与完全平衡对比目标，在理论上证明其能在最优状态形成正单纯形几何。理论与实验结果表明，该方法构建了更平衡的表征空间，并提升了长尾识别与迁移学习任务的性能。
arXiv stat.MLAI 评分3838 学会被监控：CoT 可监控性的因果边界与干预感知后训练方法
针对大语言模型思维链（CoT）监控评估指标 $\mathsf{TPR_{mc}}$ 高估因果检出率的问题，新研究推导出互补下限以建立更严格的评估框架。研究团队进一步构建了对照-干预任务训练集，设计出基于离策略自蒸馏、强化学习和在策略自蒸馏的三种后训练方法。实验表明三种方法在多种配置下均普遍提升了模型的 CoT 可监控性，相关代码已开源。
arXiv stat.MLAI 评分3535 低秩自适应（LoRA）的奇异几何学
一项最新研究基于奇异学习理论的实对数正则阈值（RLCT），分析了低秩自适应（LoRA）的学习复杂度与奇异几何特性。研究揭示 LoRA 在局部线性化下受前向-反向协方差控制，并提出了曲率校正的多温度 RLCT 估计器。在多层感知机与 Transformer 架构上的实验表明，该几何特性具有强烈的层依赖性。
arXiv stat.MLAI 评分2727 任务转移下的得分保留持续 Lasso
研究者提出得分保留持续 Lasso（SP-CL），通过保留历史平方损失得分将稀疏估计与状态传递解耦，解决持续学习中的正则化偏差累积问题。在平方损失下，其累积估计量可精确恢复全历史 Lasso 极小值点，并在任务系数相同时继承全历史稀疏收敛速率。针对相关任务系数，该方法采用当前任务正则化修正达到离线源辅助速率，并通过仿真验证了理论分析。
arXiv stat.MLAI 评分3232 用于离线最大熵强化学习的条件流模型
研究者提出一种面向离线最大熵强化学习的框架，利用概率流 ODE 条件扩散模型分别估计未知的奖励分布与转移核，进而通过深度神经网络拟合最优软动作价值函数 $Q^*$。
arXiv stat.MLAI 评分3434 大型残差网络的早期学习动态研究
大型非线性残差网络在高输入维度极限下的早期训练中仅能学习输入的线性函数，更高阶的单项式特征会被严重抑制并在极限状态下完全消失。该研究通过图解法解析了梯度下降数步后的网络输出与隐藏表示，指出 ResNet 的平均场极限可能过于僵化而不足以解释特征学习机制，同时推导并数值验证了学习率在不同数据规模和输入维度下的超参数迁移表现。