基于树模型的健康数据合成：顺序设定对比全条件设定
研究对比了基于决策树条件分布模型的顺序设定与全条件设定在合成医疗数据中的表现，通过多项风险与效用指标评估数据质量。结果显示两种设定在综合表现上并无普遍优劣：顺序合成对变量排列顺序较为敏感，而全条件设定涉及更多超参数且计算成本更高，可能限制其作为开箱即用合成方案的适用性。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分2727 arXiv stat.MLAI 评分3434 HIFI：面向基础模型的高效统计推断框架
HIFI 是一种面向基础模型的高效统计推断两阶段微调框架，相比直接重抽样可减少高达 91.9% 的训练算力。该框架先通过单次适配控制估计偏差，再利用轻量 PEFT 拟合残差来量化变异性，支持非参数 bootstrap 等多种重抽样方法。其在视觉和文本任务中支持数千万至超过 100 亿参数的模型，可提供精准点估计与良好校准的置信区间。
arXiv stat.MLAI 评分2828 紧致子流形上基于投影且具有几何无关差分隐私的联邦学习
DP-RFedProj 是一种针对紧致子流形的差分隐私联邦学习方法，通过闭式投影聚合参数并在固定环境几何中保护梯度。该方法提供显式记录级 $f$-DP 保证，收敛速率受流形内在维度而非环境维度影响，支持客户端运行各类一阶优化器。在 Stiefel 流形上的 SPDNet 实验中其表现优于欧氏基线，相同预算下添加噪声比最相近方法减少 5 到 6 倍。
arXiv stat.MLAI 评分3030 基于弱学习器的仿射不变三次牛顿法
研究者将仿射不变三次牛顿法（AICN）推广至带弱学习器的凸优化，提出 weak-AICN 并将其更新简化为带显式步长的阻尼弱牛顿步。在半强自协调条件下，该算法实现 $\mathcal{O}(1/\overline{\Theta}_k^4 k^2)$ 的全局收敛速率，显著优于 weak-GRN 的理论界。论文还提出了自适应调节正则化的 weak-AdaAICN，并证明牛顿坐标下降是该优化框架的特例。
arXiv stat.MLAI 评分3131 黎曼流形上平均随机梯度下降（RSGD）的在线协方差估计
针对流形上的平均黎曼随机梯度下降（RSGD），研究人员利用向量传输构建了重叠与非重叠在线协方差估计器，实现流形环境下的在线统计推断。该方法无需计算黎曼 Hessian 矩阵或预设终止样本量，收敛速度达到欧几里得空间对应方法水平，并在 Grassmann 流形的流式主成分分析（PCA）中得到验证。
arXiv quant-phAI 评分3030 利用量子哈密顿量下降实现参数化线路的全量子训练
研究提出利用量子哈密顿量下降（QHD）在量子计算机上直接完成参数化量子线路的全量子训练，通过编码参数的量子比特相干控制第二寄存器上的线路。该方法证明了模拟误差界与网格分辨率无关且最多随参数数量线性增长，并可通过动力学调度最小化量子门数量。基准函数与参数化线路测试显示，该设计在同等成本下显著提升了找到全局最小值的概率。
arXiv quant-phAI 评分3333 基于泡利传播的大规模浅层参数化量子电路经典预训练与量子硬件部署
研究人员提出基于泡利传播（Pauli propagation）的优化框架，通过反向传播可观测量在经典硬件上直接最小化损失函数，实现大规模浅层参数化量子电路的预训练。该方法配合截断与剪枝策略，在 64-qubit 电路的二维伊辛模型变分量子本征求解器（VQE）及图像生成基准上完成验证，并将参数成功部署至 IBM 量子处理器 ibm_berlin。
arXiv cs.AIAI 评分4141 POSEIDON：基于代码库规模化构建科学智能体训练环境
研究人员提出自动化管线 Poseidon，可从科学代码库大规模生成可验证的训练环境，提取数量比前序方法多近 10 倍。利用 Poseidon 构建的 Pearl 包含跨 10 个学科、7,110 个公开代码库的 97,659 个可执行环境。经 Pearl 训练的 Qwen3.5 模型（9B、27B 和 35B-A3B）在 6 个科学智能体 benchmark 上均取得持续提升。
arXiv cs.AIAI 评分3333 多模态强化学习：从视觉亲和力到学习信用分配
研究提出插件式框架 Outcome-Conditioned Visual Credit（OVC），将多模态强化学习中的视觉关联度度量与 token 级信用分配解耦。该方法无需辅助奖励模型、过程标注或推理期模块，直接复用现有采样数据调制 token 梯度贡献。在 3 个模型上，其实例化方案使 6 项基准测试平均准确率相较 GSPO 持续提升 1.86-2.39 个百分点。
arXiv cs.AIAI 评分3737 在 MXFP4 下训练 MoE LLM：如何缩小与 BF16 的差距
开源方案 ALTO 结合随机阿达马变换、随机舍入及权重去振荡技术，在 MXFP4 格式下训练 20B 参数的 MoE 模型 GPT-OSS-20B。在 C4 验证集上，该方案在 16,128 步时验证损失达 3.3350，仅比 BF16 基线高 0.007，弥补了约 50% 的差距。达到 MLPerf 质量目标时，去振荡将 FP4 相对 BF16 的收敛步数开销从 +20.0% 降至 +5.0%。
arXiv cs.AIAI 评分4242 HyScale：面向可学习稀疏注意力的长上下文训练系统
HyScale 是一套面向可学习稀疏注意力的长上下文训练系统，通过 HyTopK 免分数表检索与选择复用（selection replay）机制消除训练瓶颈。在 512 张 H20 GPU 上，该系统将 GLM-5.1 在 1M token 序列上的训练速度较 Megatron-LM 提升 2.07x。
arXiv cs.AIAI 评分3737 RSI-Opt：用于模型训练的递归自改进优化器智能体
研究者推出即插即用优化器智能体 RSI-Opt，通过元智能体演化提示词、代码库及策略来递归自改进模型训练过程。在演化套件上配合 Opus 5.5 时，其摘要 z-score 从 +10.48 增至 +14.33，向 GPT-5.5 迁移在保留任务达 +3.11。
arXiv cs.AIAI 评分4141 超越 On-Policy 与 Off-Policy：LLM 智能体蒸馏应在哪个层级依随学生？
一项新研究提出分层 LLM 智能体蒸馏框架，将策略依随拆解为交互历史诱导与当前动作前缀生成两个层级。跨 3 个模型与 4 个交互环境的实验显示，学生诱导历史搭配教师动作前缀可提供最强独立训练信号，而双层级完全依随学生效果最差。此外，前期前置教师生成上下文、后期引入全 on-policy 上下文的训练调度显著优于静态混合。
arXiv cs.AIAI 评分5050 Self-Directed Repair：将 AI 智能体的错误转化为持久经验
研究人员提出 Self-Direction 机制，让 AI 智能体在失败后反思并将经验蒸馏至仅占基座约 0.02% 参数量的轻量低秩适配器，存入持久库按需自动路由。在基于 Qwen 模型的实验中，该机制在 GAIA、Claw-Eval 与 Terminal-Bench 2.1 上的成功率提升 8.9 至 17.0 个百分点，修正可靠性提升近一倍，且能直接泛化至数十个新任务。
arXiv stat.MLAI 评分4444 NeuroMAS：基于联合强化学习将多智能体系统构建为神经网络架构
NeuroMAS 将多智能体系统建模为类似神经网络的可训练架构，以 LLM 智能体为节点、文本信号为边，通过强化学习自主协调与分工。该框架在层次化分解任务中更具参数效率，实验性能显著优于推理期和已训练的多智能体基线。研究还发现系统扩展具有路径依赖性，可通过小型系统渐进增长实现大型系统的有效训练。
arXiv stat.MLAI 评分3535 POETS：通过高效策略集成实现感知不确定性的 LLM 优化
POETS 提出了一种计算高效的策略集成 LLM 优化框架，通过共享预训练主干与独立 LoRA 分支直接捕捉认知不确定性，省去了繁琐的奖励模型训练流程。该框架在理论上近似累积遗憾界为 $O(\sqrt{T \gamma_T})$ 的 Thompson 采样，并在蛋白质搜索、分子设计及代码生成等强化学习任务中取得了 SOTA 样本效率。
arXiv stat.MLAI 评分2828 协变量偏移下的潜空间重要性加权
新研究提出一种针对协变量偏移的迁移学习算法，通过在低维潜空间而非高维原始空间中估计特征密度比，实现样本重加权与表征学习的结合。该方法在理论上建立了目标域过量风险率等有限样本界限，并给出了维度与方差对比分析。模拟与真实数据集实验验证了潜空间加权的性能收益，同时也揭示了其对初始化和域选择的敏感性。
arXiv stat.MLAI 评分3535 大批量训练中的动量：Polyak 扩大临界批量，Nesterov 提升数据效率
研究表明，大批量训练中 Polyak 动量能扩大临界批量以支持更高并行度且不牺牲数据效率，而 Nesterov 动量通过前瞻机制抑制噪声积累，在大批量机制下实现更高的数据效率。该研究在单遍训练与幂律核回归设定下推导了临界学习率与全风险动态标度律，并给出了揭示动量角色变化的三区域批量相图。
arXiv stat.MLAI 评分3434 基于随机李雅普诺夫稳定性的大步长 SGD 交叉熵损失收敛性研究
该研究通过随机李雅普诺夫稳定性，为大步长 SGD 在多分类交叉熵损失下的线性分类器和双层神经网络提供了收敛保证。分析显示 SGD 随机性会使训练在曲率振荡的稳定边缘与受控下降状态间交替，但能确保迭代在固定步数内重归稳定。这证明了即便使用大学习率也能在最优迭代（best-iterate）意义下收敛，实验同时验证了大步长 SGD 的优势。
arXiv stat.MLAI 评分2929 带反向耦合的 Neural LoFi：跨层特征学习的谱理论
研究团队提出了带反向耦合的 Neural LoFi 理论框架，通过模拟反向传播中后层对前层表征的重塑作用，构建了跨层特征学习的谱理论。该算法利用上层敏感度为前序谱步骤生成样本相关的有效标签，可恢复纯前向统计无法捕获的底层特征方向。在二分类 CIFAR-10 实验中，全连接与卷积网络在同等宽度下均取得了优于前向 Neural LoFi 的准确率。
arXiv stat.MLAI 评分3030 Token 感知机的泛化特性：Embedding 与词表的作用
研究人员提出可解析求解的“token 感知机”极简模型，利用副本方法揭示了 embedding 空间几何与词表对 token 预测泛化误差的影响。在连续球面 embedding 设定下，模型在样本负载达到 $\alpha_{\rm rec}=d^2/(d-1)$ 时能精确恢复 teacher 模型。面对离散词表时，贝叶斯最优学习器会优先解析词表方差最大的几何方向。
arXiv stat.MLAI 评分1818 长期 LoRaWAN 网络的数据质量审计与温湿度双变量分析
研究团队针对 Tour Perret 长期 LoRaWAN 网络数据集提出 C++17 处理流程，通过审计剔除缺失变量后，聚焦分析 205,005 帧温湿度数据。
arXiv stat.MLAI 评分3434 重新思考长尾数据下监督对比学习的表征几何
新研究针对长尾数据下的监督对比学习提出表征几何分析框架，指出代表性对比目标因依赖类别样本量，在最优状态下无法形成正单纯形几何。为此，作者提出结构平衡方法与完全平衡对比目标，在理论上证明其能在最优状态形成正单纯形几何。理论与实验结果表明，该方法构建了更平衡的表征空间，并提升了长尾识别与迁移学习任务的性能。
arXiv stat.MLAI 评分3838 学会被监控：CoT 可监控性的因果边界与干预感知后训练方法
针对大语言模型思维链（CoT）监控评估指标 $\mathsf{TPR_{mc}}$ 高估因果检出率的问题，新研究推导出互补下限以建立更严格的评估框架。研究团队进一步构建了对照-干预任务训练集，设计出基于离策略自蒸馏、强化学习和在策略自蒸馏的三种后训练方法。实验表明三种方法在多种配置下均普遍提升了模型的 CoT 可监控性，相关代码已开源。
arXiv stat.MLAI 评分3535 低秩自适应（LoRA）的奇异几何学
一项最新研究基于奇异学习理论的实对数正则阈值（RLCT），分析了低秩自适应（LoRA）的学习复杂度与奇异几何特性。研究揭示 LoRA 在局部线性化下受前向-反向协方差控制，并提出了曲率校正的多温度 RLCT 估计器。在多层感知机与 Transformer 架构上的实验表明，该几何特性具有强烈的层依赖性。
arXiv stat.MLAI 评分2727 任务转移下的得分保留持续 Lasso
研究者提出得分保留持续 Lasso（SP-CL），通过保留历史平方损失得分将稀疏估计与状态传递解耦，解决持续学习中的正则化偏差累积问题。在平方损失下，其累积估计量可精确恢复全历史 Lasso 极小值点，并在任务系数相同时继承全历史稀疏收敛速率。针对相关任务系数，该方法采用当前任务正则化修正达到离线源辅助速率，并通过仿真验证了理论分析。
arXiv stat.MLAI 评分3232 用于离线最大熵强化学习的条件流模型
研究者提出一种面向离线最大熵强化学习的框架，利用概率流 ODE 条件扩散模型分别估计未知的奖励分布与转移核，进而通过深度神经网络拟合最优软动作价值函数 $Q^*$。
arXiv stat.MLAI 评分3434 大型残差网络的早期学习动态研究
大型非线性残差网络在高输入维度极限下的早期训练中仅能学习输入的线性函数，更高阶的单项式特征会被严重抑制并在极限状态下完全消失。该研究通过图解法解析了梯度下降数步后的网络输出与隐藏表示，指出 ResNet 的平均场极限可能过于僵化而不足以解释特征学习机制，同时推导并数值验证了学习率在不同数据规模和输入维度下的超参数迁移表现。
OpenAI NewsAI 评分4444 OpenAI 保障前沿模型训练环境安全
OpenAI 阐述了如何加强前沿模型训练与评估的隔离防护能力。相关安全措施包括构建离线环境，以及开展高算力红队演练。
arXiv cs.AIAI 评分4444 TraceForge：用自身思维进行知识蒸馏
TraceForge 提出了一种以学生模型自身风格生成推理过程（reasoning trace）的知识蒸馏方法，解决前沿模型隐藏推理链的问题。该方法通过监督与对抗两阶段训练，生成 trace 的真实度评分达 0.68（经 critic 筛选达 0.82），优于真实 trace 的 0.66。
arXiv cs.AIAI 评分3232 从关联到决策价值：测试 VLA 语料库选择中的配对指令依赖性
新研究测试了配对指令依赖性在视觉-语言-动作（VLA）语料库选择中的决策价值。在 136 个四足导航语料库实验中，该指标虽降低了平均绝对预测误差，但 primary proper-log-score 增量仅 +0.059 nats，且在预设 top-20% 对比中未带来增量选择增益。结果表明反事实响应结构被压缩为无符号统计量时，所提供的实际决策价值较为有限。
arXiv cs.AIAI 评分3333 RubricOpt：偏好优化中语义评分准则的自我修订
RubricOpt 框架允许策略模型在偏好优化中自我修订行为准则，通过诊断自身输出保留已覆盖要求，并针对未解决的常见失败编辑准则条款。该准则在保持偏好对与目标固定的情况下指导 DPO 训练，并在评估阶段移除。在能力和开放式生成基准测试中，准则调节相比常规 DPO 能改善结果，但在不同模型与数据集上收益存在差异。
arXiv cs.AIAI 评分3434 TeachBack：面向在线自蒸馏的双向偏好优化框架
研究人员提出 TeachBack 框架，通过双向偏好优化解决在线自蒸馏（OPSD）中特权教师模型过度依赖参考答案、缺少推导与纠错过程的问题。该框架通过调控提示词中参考推理后缀的长度与风格促使教师自主解题，并利用成对偏好目标实现教师与学生轨迹的双向优化互促。实验表明，TeachBack 在数学和逻辑推理任务上的表现持续优于现有在线自蒸馏方法及相关基准。
arXiv cs.AIAI 评分3636 NormTune：面向推理密集型任务的范数引导参数高效微调
NormTune 是一种范数引导的参数高效微调（PEFT）方法，通过依据权重更新范数自适应强化更新不足的层，弥合 PEFT 在推理任务上与全参数微调的差距。在 S1K-1.1 上训练时，NormTune 使 rank-8 LoRA、Bone 和 MoRA 平均准确率分别提升 24.24%、11.33% 和 16.21%，且 rank-256 配置表现达到并微超 S1 全参数微调基线。
arXiv cs.AIAI 评分4040 关系基础模型预训练 Speedrun：首个 Relational Transformers 排行榜 modded-nanoRT
研究人员推出首个面向 Relational Transformers 的预训练 Speedrun 排行榜 modded-nanoRT。该方案结合 typed trilinear attention 算子、Muon 与 SIGReg，在单块 NVIDIA H200 上仅耗时 305.63 秒达到质量目标，比参考实现提速 8.11x，并在开发库外赢下 15 组对比中的 13 组。相关基准与代码已开源。
arXiv cs.AIAI 评分4040 游戏中的扩展规律：面向多样虚拟世界具身智能体的持续预训练
针对虚拟世界具身智能体的持续预训练研究测试了 0.8B 至 27B 规模与 50 至 1,600 小时数据，涵盖 120 种训练配置。研究拟合了验证损失与数据量、多样性及模型规模的经验扩展定律，发现数据多样性有助于向相关虚拟世界迁移。所得模型在 3D 实时环境中媲美 Minecraft 专家模型，但面对差异较大的世界仍存在泛化差距。
arXiv cs.LGAI 评分4949 追溯预训练过程中的阈下学习现象
研究发现大语言模型在通过硬标签或软标签蒸馏时，会继承教师模型无关特性的“阈下学习”现象，且该迁移在不同初始化权重、预训练数据顺序、语料、模型大小及架构下均持续存在。实验基于 Pythia、PolyPythia 和 DataDecide OLMo 模型，表明传递与获取偏好的能力在预训练检查点中独立发展，并在角色反转时呈现出强不对称性。相比硬标签蒸馏，软标签蒸馏只需更少训练即可产生更一致的偏好迁移。
arXiv cs.LGAI 评分5959 研究追踪推理模型中 Wait 标记来源：源自训练数据而非强化学习发明
一项新研究追踪开源推理模型的训练历程发现，模型在重新审视步骤时使用的“wait”标记并非由强化学习自主发明，而是继承自预训练数据或带有推理轨迹的微调数据。在缺乏该词的基座模型上，强化学习虽能显著提升 MATH-500 准确率但基本不会凭空生成该词；若基座已有该词，不同强化学习方案则会改变其使用频率和报警敏感度。
arXiv cs.LGAI 评分3434 一师多视角：降低同策略自蒸馏对参考答案敏感度的新方法
针对同策略自蒸馏（OPSD）中教师分布过度依赖单一完整参考解答导致的“参考引发目标不稳定”问题，研究人员提出了蒙特卡洛特权蒸馏（MCPD）方法。该方法将特权上下文建模为部分参考视角的分布，评估多视角下的教师分布并在概率空间进行平均，从而蒸馏边缘教师分布。在数学与科学推理基准测试中，MCPD 提供了更具参考一致性的监督，效果持续优于全参考 OPSD。
arXiv cs.LGAI 评分3535 MOER：基于专家前缀引导与选择性回滚的混合策略优化框架
MOER 提出一种强化学习混合策略优化框架，通过向 prompt 注入逐步缩短的专家思维链前缀引导自主推理，并借助选择性回滚机制将失败补全替换为完整专家轨迹以保证正确性。该框架结合了用于 on-policy token 的 GRPO 损失与置信域 SFT 损失以稳定训练，在数学和通用推理任务中取得最高平均分，代码已开源。