逆向 KL 策略蒸馏：统计学保证与理论极限
一项新理论研究揭示了逆向 KL 策略蒸馏的统计学界限与样本复杂度差异。在在线蒸馏中，若教师模型仅反馈学生生成动作的概率，所需数据量会大幅增加；而离线蒸馏无论教师提供完整分布还是单一动作概率，均可达到相同的 minimax 速率。研究还提出了轨迹损失截断、重要性比率截断与策略空间学习技术，以实现最优在线蒸馏保证。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分3333 arXiv cs.LGAI 评分2828 谱可预测性是否足够？分布偏移下合成预训练的 $\Omega$ 匹配测试
研究测试了基于谱可预测性（$\Omega$）匹配的合成数据预训练方法在 LSTM、PatchTST 与 TCN 上的效果，发现该指标在受控合成环境下有效，但不足以单独预测真实场景的跨源迁移。
arXiv cs.LGAI 评分3535 GIFT：面向蒸馏增强推理强化学习的梯度感知过滤方法
研究人员提出 GIFT 方法，通过 token 级别的梯度几何分解解决蒸馏增强推理强化学习（RL）中的目标冲突问题。该方法将蒸馏梯度分解为衡量冲突的平行分量与量化指引价值的正交分量，并结合覆盖退火（coverage annealing）调度优先剔除冲突更新。在数学与逻辑推理基准测试中，GIFT 在困难数学推理任务上取得最高达 9.5% 的相对提升。
arXiv cs.LGAI 评分4545 Trace2World：基于真实交互轨迹重构应用世界以实现可扩展的 GUI Agent 训练
研究人员提出 Trace2World，通过将全局行为重构与代码实现解耦，从 1,570 条真实交互轨迹中重构出 50 个可执行的 GUI 应用环境。在跨 10 个应用的 200 个工作流中，该方法实现了 91.1% 的端到端复现率，并在真实设备上保留了 94.0% 的模拟训练增益。
arXiv cs.LGAI 评分3434 速率约束下的最优多任务表征：一项信息瓶颈分析
研究人员通过多任务信息瓶颈框架，分析了在信息预算限制下哪种预训练目标能为下游任务产生最优表征。针对高斯输入与任务的分析表明，弱任务对齐的专用模型在低速率下优于重构通用模型，但在高速率下会落后；基于平均任务信息矩阵定义的目标则具有受最大任务 SNR 控制的一致相对遗憾界。CelebA 和 dSprites 实验进一步证实，压缩会改变表现最优的预训练目标。
arXiv cs.LGAI 评分3535 DiffLTM：用于条件生成的大型表格连续扩散模型
研究者提出了用于条件生成的大型表格连续扩散模型 DiffLTM。该模型对类别特征采用交叉熵损失并给出了首个理论证明，引入了针对罕见子群体的评估指标，并推广了条件生成技术以支持新型条件设定。在劳动力数据上的训练表明，DiffLTM 能够捕捉计量经济学的经典洞见，相关代码已开源。
arXiv cs.LGAI 评分3333 迈向保真数据选择：统计极限与可扩展算法
新研究证明在缺乏超大规模验证集时，信息论上无法选出使总体误差最小的最优训练子集，并据此提出了以“保真度（faithfulness）”为目标的新数据选择框架。该方法利用未调整朗之万算法建模训练，通过累积梯度差异约束参数分布的 KL 散度，并设计了可单调降低该界限的交换局部搜索算法。方案在 CIFAR10 和 CIFAR100 上匹敌现有基线，相关代码已开源。
arXiv cs.LGAI 评分4646 从二次型视角看 Muon 的极分解更新：优势、陷阱与 Newton-Schulz 的作用
研究人员通过矩阵二次型理论分析了优化器 Muon 核心的正交化更新 PolarGD，揭示了其训练大语言模型优于 AdamW 的机理与潜在瓶颈。分析表明，PolarGD 的收敛速度取决于当前迭代矩阵的条件数而非 Hessian 矩阵，但极小的奇异值会导致其速度远慢于梯度下降。Muon 采用的少数次 Newton-Schulz 迭代恰好缓解了微小奇异值的负面影响，收敛速度甚至快于精确正交化。
arXiv cs.LGAI 评分3333 多模态推理的最小编辑策略内知识蒸馏方法
研究人员提出用于多模态推理的最小编辑策略内知识蒸馏方法，利用教师模型评估错误推理并仅对教师不认可的 token 进行针对性修正，正确推理则接受任务奖励强化学习。该方法在测试阶段无需图像描述即可达到或超越基准模型输入参考描述的性能，显著增强了几何感知能力，且使用同尺寸冻结模型作为教师同样有效。
arXiv cs.LGAI 评分5252 医疗 AI 隐私风险自动化筛查：在训练前识别成员推理攻击高风险数据
研究人员提出一种医疗 AI 隐私风险自动化筛查工具，能在生产模型训练前利用四个小型模型提前识别易受成员推理攻击的高风险患者记录。该研究在 6 个临床数据集和 4 种模态下测试了 7,789 个模型，发现高风险患者群体在不同架构、训练配方与基座模型中基本重合。增强权重衰减最多可将暴露群体规模减少至三分之一，团队建议将隐私筛查直接纳入临床 AI 的数据准备流程。
arXiv stat.MLAI 评分3131 多指标模型中多轮次 SGD 的高维学习动态研究
针对样本量与维度成比例增长的高维非凸多指标模型，研究建立了多轮次 SGD 学习动态的渐近精确表征。在次线性批大小 $\kappa \asymp n^\alpha$（$\alpha \in [0,1)$）与临界学习率下，SGD 坐标动态收敛至由标量泊松跳跃过程驱动的动态平均场方程连续时间极限。
arXiv stat.MLAI 评分3636 何时跟随教师：基于优势的在线策略蒸馏（AOPD）
研究人员提出基于优势的在线策略蒸馏（AOPD），通过教师动作在学生模型下的反事实优势进行加权，强化真正有助于提升学生表现的教师指导。该方法仅依赖标准学生采样轨迹与终端奖励进行目标估计，无需额外的 rollout 或奖励评估。在数学、代码与 Medqa 任务实验中，AOPD 在外部教师及自蒸馏设置下均优于传统蒸馏与强化学习基线。
arXiv stat.MLAI 评分4545 带 CoT 的 Transformer 经训练可自主发现重球加速算法
研究表明带 CoT 的 Transformer 在线性回归上下文权重预测任务中，不仅能模仿教师算法，还能通过训练自主发现更优算法。模型在接受梯度下降教师的初步监督后，经真实回归权重的轨迹级监督训练，学会了实现重球加速方法。该加速算法在没有任何重球算法教师监督的情况下自主涌现，为 Transformer 超越监督样本发现新算法提供了理论证据。
arXiv stat.MLAI 评分3030 线性残差网络在训练期间宽度与深度极限可交换
线性残差网络在采用 $1/\sqrt{depth}$ 残差分支缩放（Depth-$\mu$P）与 $\mu$P 宽度参数化时，其无限宽度与无限深度极限在有限步训练中可交换。在带有梯度裁剪的固定步数梯度下降下，当宽度和深度趋于无穷时，网络输出沿所有联合增长路径在 $L^2$ 意义下收敛。若不使用梯度裁剪，通常不满足 $L^2$ 收敛，但仍能成立较弱的依概率收敛。
arXiv stat.MLAI 评分3939 从嘈杂多样的数据源中获取高价值训练数据
研究人员提出一种可扩展的训练数据加权方法，利用少量高质量目标数据集与训练过程中的元梯度，直接优化训练样本权重以提升目标领域表现。该方法通过学习参数化加权规则泛化至流式样本，并支持从小模型向更大模型迁移。在奖励建模实验中，学习到的数据权重自适应特定领域，并使人类与合成监督混合数据的表现超越单一数据源。
arXiv stat.MLAI 评分3333 基于广义矩匹配的差分隐私合成数据
研究者提出广义矩匹配框架，通过私有化估计矩、拟合概率测度并采样记录，生成满足 $(\varepsilon,\delta)$-差分隐私的合成数据。该方法适用于 1-Wasserstein 距离、含 Matern 与 Laplace 核的 MMD 及范数有界 ReLU 网络导出的积分概率度量。在合成记录足够时，其误差速率在固定维度下达到了极小化极大最优。
arXiv stat.MLAI 评分3434 持续 SFT 中受限更新为何仍会遗忘：基于函数路径的分析
研究提出函数路径分析方法，将持续 SFT 中旧损失变化分解为受控方向、梯度陈旧度、探针失配与有限步效应，解释了受限更新为何仍会导致遗忘。QLoRA 干预实验表明，约束放置在 Adam 优化器前后显著影响保留效果，且最终分数掩盖了训练中的损失暴露。在序列任务中，监督回放比产生任务权衡的子空间正则化能更一致地保护历史任务。
arXiv cs.LGAI 评分3737 PerSPL：个性化半监督偏好学习
个性化半监督偏好学习框架 PerSPL 通过 pair-mean score centering 稳定跨 prompt 评分坐标，迭代将无标签回复转化为用户特定的训练信号。在 PersonalLLM、HelpSteer2、Reddit TLDR 和 Chatbot Arena 四个基准上对比 7 种代表性 baseline，PerSPL 在已见过和未见过的用户上均取得了最高平均准确率。
arXiv cs.LGAI 评分3535 面向基于流的离线强化学习的价值校正蒸馏（VRD）
研究者提出价值校正蒸馏（VRD）框架，解决了离线强化学习中蒸馏流匹配行为策略导致的分布外（OOD）模态平均问题。VRD 将策略蒸馏重构为价值引导的生成轨迹对齐，并具体实现为 VRD-Q 与 VRD-R 两种互补算法来隔离高价值动作。在 D4RL、OGBench 和 Minari 基准测试中，该方法在多模态及非专家数据集上的表现显著超越现有生成式基线。
arXiv cs.LGAI 评分3434 隐藏学习结构的动力学研究
研究人员提出了纤维调节理论（FRT）与纤维获取理论（FAT），用于刻画模型隐藏学习结构中的受保护功能修复及可训练结构更新动力学。在 Qwen2.5-32B 结合 AdamW、经验回放与输出知识蒸馏的实验中，受保护 head 修复与固定容量 LoRA 更新的协同策略在全部四项对比中均取得了高于单一策略的 teacher-forced Exact 表现。
arXiv cs.LGAI 评分2727 门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖：LSTM 与 GRU 网络的受控研究
一项涵盖 720 次训练的对照研究表明，chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下，全部 360 次 chrono 初始化训练均在 5000 次更新内达标，即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下，常规初始化下 Dropout 普遍拖慢学习，Zoneout 仅在部分条件下有效。
arXiv cs.LGAI 评分4343 更优策略反致验证器审计恶化：策略内审计崩溃机制与修复
研究表明，在后训练与测试时计算循环中，随着策略性能提升，针对整体成功标签审计组件验证器会导致“策略内审计崩溃”，使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC，将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案，通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。
arXiv cs.LGAI 评分4040 FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体强化学习的系统优化研究
研究者针对 Qwen3.8-Flash-Next 推出强化学习优化框架 FlashNext-RL，在单台 8xB200 节点上实现了 48 层完整模型的 BF16 训练。
arXiv cs.LGAI 评分3535 正交化如何适应神经网络 Hessian 结构？基于初始化的梯度自外积分析
新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制，从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优，从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率，并通过语言模型实验验证了该缩放规律。
arXiv cs.LGAI 评分3232 数据差异化框架（DDF）：在智能体评估流水线中量化边际数据价值
研究提出数据差异化框架（DDF）与智能体评估流水线 SDSAE，结合互信息冗余惩罚、成本归一化边际效用及治理输入来量化评估候选数据资产的增量价值。
arXiv cs.LGAI 评分3939 通过知识重塑对抗持续领域自适应中的灾难性遗忘
研究提出 Skill Schema Transport（SST）后训练框架，通过将新知识转译至模型已有技能空间实现程序复用，以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上，SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上，该方法将最大遗忘降幅从 42.41 分降至 7.10 分，并大幅恢复了 OOD 退化。
arXiv cs.LGAI 评分3939 RL-IF：追踪在线强化学习中的非局部训练数据影响
研究提出了 RL-IF 框架，通过形式化轨迹级留一指标 RL-LOO，解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应，并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中，RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。
arXiv cs.LGAI 评分3737 Looped Transformer 中截断反向传播会丢失多少梯度？
一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度，发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度，但该丢失量在微调 300 步内下降了 0.07-0.22。同时，该指标未能证实比免测量的规则更能预测截断训练成本。
arXiv cs.LGAI 评分3737 高斯先验何时失效？强化学习微调下的潜在几何结构研究
研究指出潜在扩散模型的标准 VAE 高斯先验在强化学习微调下存在结构性缺陷，多模态数据会导致不同模态在潜在空间重叠并引发模式崩塌。在丙氨酸二肽玻尔兹曼分布测试中，高斯先验 VAE 在 beta_c = 0.224 时发生崩塌，而模式追踪高斯混合先验在 0.00316 时才崩塌，差距达 71 倍。该放大效应源自学习到的策略，且模式分离先验能带来不可替代的覆盖率优势。
arXiv cs.LGAI 评分3535 ArcFlow：面向多种求解器预算训练流策略
研究人员提出面向部署的算法 ArcFlow，支持在单一流策略中跨指定求解器步数范围训练，同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中，ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。
arXiv cs.LGAI 评分3939 先测量再分配：面向强化学习中 MCP Agent 的校准 Rollout 预算
研究人员提出了基于奖励分歧的 Discord 评估方法与 BRACE 预算分配框架，用于优化 MCP 环境下工具调用语言模型的强化学习训练。BRACE 通过结合历史任务证据、成功率不确定性及相关奖励模型，在前瞻性预测混合奖励组后再分配生成预算。在 3 种 Qwen3-VL 参数规模下，BRACE 以更少的新训练 rollout 超越基准表现，并在 BFCL 与 NESTFUL 上取得领先。
arXiv cs.LGAI 评分3232 面向以人为中心环境的离线学徒学习框架研究
该论文针对以人为中心的环境，提出了围绕奖励建模与演示质量的两类离线学徒学习（AL）框架。在奖励建模上，EM-EDM 与分层奖励调节框架 THEMES 在 1 个教育和 3 个临床数据集上超越了对比基线；在演示质量上，HALIDE 与引入贝叶斯信用分配的 CCHAL 实现了混合质量数据的高效利用。
arXiv cs.LGAI 评分4141 SimHack：在 RL 训练前预测可检测奖励欺骗的爆发时机
研究人员提出模拟器 SimHack，利用少量小规模参考 RL 运行学习训练动态，可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中，其预测爆发中位数的相对误差仅 11.3%，跨配方排序相关性达 0.85，并泛化至不同模型规模与学习率。通过筛选 RL 课程，它成功找到了使无欺骗训练时长延长 96.6% 的方案。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker 推出训练会话 API，无需管理 GPU 即可编写自定义训练循环
Amazon SageMaker AI 推出训练会话 API（training session APIs），允许开发者在本地 Python 环境编写自定义训练循环，并将 GPU 算力执行完全托管在云端。
推荐理由：该 API 将算力调度与训练控制流解耦并按 Token 计费，让开发者无需运维 GPU 即可低门槛实现自定义对齐与强化学习算法。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker AI 推出无服务器训练会话功能：免管理 GPU 定制模型
Amazon SageMaker AI 正式推出无服务器模型定制的训练会话（training sessions）功能，允许开发者在无需管理 GPU 集群和分布式配置的情况下，通过代码灵活控制后训练循环与奖励函数。
推荐理由：原文展示了如何通过 Serverless 架构托管底层算力调度，让开发者直接用代码灵活控制多轮强化学习训练循环。
arXiv stat.MLAI 评分3434 用于学习稳定二值表征的复合激活函数
研究人员提出重尾激活函数（HTAF），作为 Heaviside 函数的平滑近似，以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成，在零输入附近保留较大梯度且尾部衰减更慢，能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型（ICBM）实现了特征离散化，在图像数据集上取得媲美或优于标准模型的预测表现。
arXiv stat.MLAI 评分3131 面向标签噪声分类的模型无关信息迁移与融合
针对大规模含噪标注数据与少量专家验证干净数据共存的场景，该研究提出了一种通用的模型无关非参数分类框架。该方法利用小规模干净数据集提纯大规模含噪数据，并精细处理剩余的模糊样本，克服了传统方法对参数相似性假设的依赖。该框架拥有严谨的统计理论支撑，已在模拟实验及肺炎诊断医疗影像分析中验证了实际性能。
arXiv stat.MLAI 评分3737 MoE Transformer 的泛化与缩放定律研究
研究者提出了针对 MoE Transformer 的泛化与缩放理论，将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化（ERM）分析，证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致，并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。
arXiv stat.MLAI 评分2525 二值语义分割在模拟类别不平衡与标签偏移下的主动学习研究
研究人员针对机器视觉中缺陷样本稀缺与存储受限导致的偏差问题，提出了一套基于两个开源数据集的受控可复现实验方案，用于模拟不同程度的类别不平衡与标签偏移。实验对比了随机采样、基于熵的选择、核心集选择以及感知不平衡的 galaxy 采样四种主动学习策略。结果表明，基于熵和核心集的选择在高不平衡数据下依然优于随机采样，并量化了严重标签偏移带来的效率损失。
arXiv stat.MLAI 评分3434 记忆长尾数据可通过组合提升模型泛化能力
记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明，在线性设定下，记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测，即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明，该结论可拓展至线性设定之外，且模型的组合能力取决于其网络架构。