合成数据能否复现流行病学真实结果？基于对抗随机森林的复现研究
研究提出利用对抗随机森林（ARF）合成流行病学表格数据，并在涉及血压、心肌梗死与糖尿病等 6 项流行病学研究中成功复现了原始统计分析。实验表明，ARF 生成的数据在描述性和推断性分析中均与真实结果高度一致，即使样本量相对维度偏低也表现稳定。对比常用表格合成工具，ARF 在数据效用、隐私保护、泛化能力及计算效率上均展现出显著优势。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3636 arXiv stat.MLAI 评分3434 保留还是适应？泛化持续学习
新研究质疑了持续学习过度注重缓解灾难性遗忘的传统设定，指出非平稳环境中保留旧知识会阻碍实时适应。研究提出迁移效率指标与关键任务持续时间阈值，量化了历史知识由预热优势转为优化负担的临界点。团队还提出了预测性持续学习（Predictive Continual Learning）框架与 Window 算法，在图像分类与强化学习基准上验证了其适应优势。
arXiv stat.MLAI 评分3939 通过 Dreaming Learning 缓解模型崩溃
研究提出利用高温采样训练的 Dreaming Learning 方法，以缓解生成模型在合成数据训练中出现的多样性丧失与模型崩溃。该方法通过展平预测分布使学习算子的特征值远离单位圆，从而持续维持对状态空间的探索能力。经 5000 代迭代测量，该缓解效果在 LSTM 语言模型及 124M 参数的 GPT-2 上均得到验证。
arXiv stat.MLAI 评分3434 研究提出面向长程智能体的效应边际策略优化算法 EMPO
研究者针对 LLM 智能体在多轮强化学习中不同文本表述导致信用与策略更新错位的问题，提出了效应边际策略优化算法 EMPO。EMPO 通过构建效应级替代目标联合更新不同文本表述，在保留原始信用信号的同时兼容轨迹级与单步信用估计，且无需额外的 critic 或 rollout。在 ALFWorld、WebShop 和 Sokoban 上的实验表明，EMPO 在任务表现和学习效率上均超越了基线方法。
arXiv stat.MLAI 评分3333 GaP-MoE：基于正交梯度累积与投影实现 MoE 专家显式专业化
研究者提出 GaP-MoE 方法，通过直接操作专家输出梯度而非修改损失函数，来解决稀疏混合专家（SMoE）模型中的表征崩塌问题。该方法在训练时随机选出一个 Leader 专家，并将其余 Follower 专家的梯度投影至与其正交的子空间，以此消除梯度方向重叠。
arXiv stat.MLAI 评分3636 近似 Solomonoff 归纳：论学习通用预测器的鲁棒性
关于近似 Solomonoff 归纳法的最新研究给出了通用预测器误差的最坏情况紧确界。在先验概率为 $w_\mu$ 的环境中，近似预测器的超额误差紧确界为 $\Theta(\eta/w_\mu)$，表明在小先验概率下性能会显著下降，但按先验加权的平均超额误差仅为 $O(\eta)$。论文还建立了分布偏移定理，并将鲁棒性分析拓展至与神经网络和 Transformer 相关的有限采样设置。
arXiv stat.MLAI 评分3333 曲率缩放锐度感知最小化（CS-SAM）：突破传统平滑性限制的收敛性研究
研究者提出了曲率缩放锐度感知最小化（CS-SAM），通过曲率上限同时缩放扰动和下降步长，解决了传统 SAM 及 USAM 在广义平滑条件下梯度失真可能无界并导致震荡或发散的问题。
arXiv stat.MLAI 评分3636 面向大语言模型推理高效探索的重试感知策略优化 ReAPO
研究人员提出大语言模型推理优化算法 ReAPO，通过改进 GRPO 引入重试感知信用分配，在不奖励前序失败的前提下强化成功重试。在 0.6B 至 4B 的 Qwen3 与 OLMo-2 模型及 8 个数理基准测试中，ReAPO 首答表现全面超越 GRPO。在 Qwen3-0.6B 上，其达到峰值准确率生成的 token 较组大小或步数翻倍的 GRPO 分别减少 39% 与 31%。
arXiv stat.MLAI 评分2828 通过 Stein 算子估计未归一化模型的统一方法
该研究提出了一种将真评分规则与 Stein 方法相连接的统一框架，用于未归一化模型的参数估计。该框架构建了一类涵盖得分匹配、比率匹配、伪似然以及噪声对比估计（NCE）的真评分规则，并证明其能自然诱导 Stein 算子。借助诱导 Stein 算子的几何视角，该工作为相关估计量的渐近效率提供了统一表征。
arXiv stat.MLAI 评分4141 当思考化为记忆：统一上下文学习与微调决策的信息论法则
研究人员提出了首个经证明的判定准则，基于信息价值精确法则决定未见数据应放入预训练模型的上下文还是权重中。该法则通过在保留查询上节省的编码长度量化信息价值，并通过随时有效检验控制误差；在针对 GPT-2 缓存与微调的 32 项对比中，该检验在 64,000 条查询流里正确选出 61,948 次，空流错误率至多 3.3%。
arXiv stat.MLAI 评分3434 基于内部引导的倾斜扩散模型采样方法
研究者提出一种用于倾斜扩散模型采样的“内部引导”（internal guidance）方法，不修改基础去噪器输出，而是通过改变其评估输入点来实现采样。针对超立方体上的离散分布，线性倾斜密度的去噪器可严格等价为对输入进行平移和缩放后的基础去噪器。该方法通过在训练中加入随机对角缩放，使单个去噪器网络无需微调或外部引导项，即可支持二元奖励倾斜、类别标签引导和内容填充采样。
arXiv stat.MLAI 评分3333 反向 Gold 定理：基质有界对比学习器仅凭正样本实现语言识别
研究者提出了与 Gold 定理相反的正向结论，证明基于先验递归对比算子和 InfoNCE 式对比估计的有界判别评分器，仅凭正数据即可实现 PAC 条件识别。该学习器自行构建负样本且无需计算全局归一化常数，样本复杂度与容量、轨道大小及 1/ε 呈多项式关系。在间隔条件下该排序可提升为全局成员分类器，并能组合为免归一化的 Metropolis–Hastings 生成器。
NVIDIA Blog精选AI 评分6868 NVIDIA 扩展 Cosmos 平台并开放世界模型训练、评测与部署工具
NVIDIA 扩展 Cosmos 平台，推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体，帮助开发者加速物理 AI 与世界模型的开发与落地。
推荐理由：这套工具通过合成数据生成与闭环仿真评测，为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。
AWS Machine Learning BlogAI 评分3434 在 AWS Trainium 上使用 torchtitan 训练 Qwen3
AWS 展示了在单台配备 16 个 Trainium2 加速器的 trn2.48xlarge 实例上，使用 torchtitan 训练 Qwen3（如 Qwen3-4B-Instruct-2507）的三种配置方式。
arXiv cs.AIAI 评分4141 Ask to Distill：面向同策略知识蒸馏的数据合成框架
研究人员提出 Ask-to-Distill 框架，无需参考答案或正确性奖励，通过冻结的学生与教师模型计算分布代理奖励，学习合成用于同策略知识蒸馏（OPD）的高价值问题。该方法在数学推理、代码生成和智能体任务中提升了平均表现与教师差距恢复率，匹配或超越了真实题库的 OPD 效果，相关代码、数据和模型已公开。
arXiv cs.AIAI 评分3434 用于 LLM 推理的稀疏强化学习松弛方法 SpaRLax
研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法，通过利用 soft-CoT 推理跨时间步的可微性，提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度，在置信度高时截断长尾噪声，不确定时保留多个候选 token。在 9 个推理基准测试中，SpaRLax 的平均性能超越了基线方法。
arXiv cs.AIAI 评分2727 针对组合增量学习的 LSA-PAST：分层自适应与原型迁移方法
针对组合增量学习中的基元表征漂移问题，研究者提出了参数高效方法 LSA-PAST。该方法将 LoRA 集成到冻结的 ViT 中，通过 LSA 为状态、物体和组合构建深度专用的适配器，并通过 PAST 借助无重放仿射变换将历史原型映射至当前适配器空间。实验表明，LSA-PAST 在组合增量学习中取得了 SOTA 的准确率与抗遗忘权衡表现。
arXiv cs.AIAI 评分3535 通过偏好优化训练 AI 智能体掌握德州扑克策略
研究人员提出结合 KL 锚定均衡的策略偏好优化方法 SPOKE，用于提升紧凑型 AI 智能体在不完全信息扑克博弈中的策略水平。在 SmallThinker-4B-A0.6B 的三次测试中，SPOKE 在 Kuhn 和 Leduc 环境中取得最低的平均可被剥削度 0.213 与 1.081，并在六人桌达成最高的 top-1 一致性 0.775。
arXiv cs.AIAI 评分4343 DataPraxis：通过可验证工作区演进扩展数据分析任务
研究人员提出数据分析任务合成框架 DataPraxis，通过逐步丰富并组合经验证的工作区来发掘更深层分析任务，并在演进与组装阶段持续验证结果。基于该框架构建的 DataPraxis-5K 数据集包含 5,000 条跨领域轨迹，用于训练 DataPraxis-27B 与 DataPraxis-35B-A3B。
arXiv cs.AIAI 评分3838 Navalia：通过可验证任务合成与长程后训练推进协同 AI 智能体
研究人员提出协同 AI 智能体框架 Navalia，结合可验证任务合成与长程后训练以解决跨文档证据整合与多步数值推理难题。该框架以企业财报为数据源构建可执行计算链，并利用独立大语言模型审查与程序化检查验证证据一致性和答案正确性，进而开展冷启动 SFT 与 RL。
arXiv stat.MLAI 评分3636 《联邦学习：从理论到实践》（Federated Learning: From Theory to Practice）新书发布预印本
《联邦学习：从理论到实践》新书预印本上线 arXiv，全书共 252 pages，系统介绍如何构建保护隐私且可扩展的联邦学习系统。该书重点聚焦个性化联邦学习，通过网络带权边编码设备间的任务相似度与通信链路，并将个性化模型训练构建为广义全变差最小化（GTVMin）分布式优化问题。内容面向学生、工程师与研究人员，兼顾图学习与优化理论的数学基础与实践应用。
arXiv stat.MLAI 评分3030 权重空间学习实现可验证少样本迁移学习
研究人员提出一种基于权重空间学习的迁移学习方法，通过生成 PEFT 参数分布为少样本下游任务提供可验证的理论泛化保证。该方法利用扩散模型从上游任务学习 PEFT 参数分布，并在下游数据中通过采样与评估筛选出似然最高的参数。相比神经网络权重典型的连续假设空间，将假设限制在有限样本内能提供更紧的风险认证。
arXiv stat.MLAI 评分3434 基于锚点-正样本-负样本显式耦合的多边缘逆最优传输对比学习
研究人员提出多边缘逆最优传输对比学习方法 Neg-MMIOT-CL，通过设计三元组基础代价将多边缘最优传输全局耦合集中在锚点-正样本-负样本三元组上，有效缓解了传统方法因缺少负样本导致的维度坍塌问题。团队还证明了该方法在特定代价下可呈现神经元坍塌现象，并推出计算效率更高的替代方案 Neg-IOT-CL-PushPull。合成与真实数据集实验表明，该方法性能显著优于现有基于最优传输的对比学习方法。
arXiv stat.MLAI 评分2626 迁移学习中源数据与目标数据的综合价值研究
针对带标签目标数据的监督迁移学习，一项理论研究揭示了收敛速率的二分现象：即最优速率仅由单侧数据决定的“弱迁移”机制，以及结合源数据与目标数据互补信息以实现更快收敛的“强迁移”机制。研究提出了弱/强迁移模数来刻画两类分布关系，并设计出一种无需先验分布知识即可在各机制下保持近乎最优的通用算法。
arXiv stat.MLAI 评分3131 从熵视角看 AI 弹性、极简数据学习与最优控制
研究提出从熵优化视角量化对抗算法，以数学准则证明对抗攻击的全局最优性与唯一性，并构建出能生成最优训练数据点的自攻击学习算法。该算法仅需极少训练数据即可训练复杂系统中的最优控制，且在水动力学和生物医学的真实及合成问题中，模型复杂度大幅降低。其预测性能与复杂度表现超越了提升随机森林、深度神经网络及基于 Transformer 架构的基础模型。
arXiv stat.MLAI 评分3636 合成数据训练何时能在理论上保证有效？
研究探讨了在共享条件标签分布下，使用合成数据训练的二分类器能否成功迁移至真实数据分布。理论表明，当真实分布超出合成数据范围时，合成数据风险无法单独控制真实误差，对抗分类器在合成域误差仅 0.5% 却在真实域达到 99.25% 误差；但在 Lipschitz 条件下仍可恢复迁移误差界。
AWS Machine Learning BlogAI 评分3838 超越 KV cache：在 AWS Trainium2 上使用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型
i14 借助 TorchNeuron Native 在 AWS Trainium2 上训练并部署了 Laplace 3B 线性注意力模型。该模型将推理循环状态固定为每序列 29.5 MB，摆脱了传统 KV cache 随上下文长度增加的限制。
AWS Machine Learning BlogAI 评分5252 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 的多语言推理能力
AWS 介绍了在 Amazon SageMaker HyperPod 上结合 SFT 与 GRPO 微调开源模型多语言推理能力的方法与决策框架。测试显示 SFT 将 GPT-OSS-20B 的目标语言思维链比例从 22% 提升至 100%，随后的 GRPO 在此基础上将最终回答语言准确率从 62% 进一步提升至 70%。
arXiv cs.AIAI 评分3737 LongForge：通过证据-断言推理图评估与改进长上下文指令数据
研究人员提出长上下文指令数据处理框架 LongForge，将样本反向重构成证据-断言推理图，从广度、深度、正确性和完整性四个维度进行可追溯的质量评估与生成控制。评估 7 个主流数据集发现，数据广度几乎不随文档长度增长且深度普遍偏低。在两个骨干模型上，其生成的 LongForge-1 和 LongForge-N 在 6 个长上下文基准上平均超越最强基线 2.2-4.7 分。
arXiv cs.AIAI 评分4444 重新审视大语言推理模型安全对齐中的 GRPO
研究人员针对大语言推理模型在 GRPO 安全对齐中出现的优势崩塌与不安全多样化问题，提出了对齐框架 Beacon。该框架通过安全信号恢复（SSR）重构有效学习信号，并利用安全与效用解耦对齐（SUDA）缓解过度拒答。在 4 个 Qwen3 与 DeepSeek-R1-Distill 变体及 8 个基准测试中，该方法将平均安全错误率最多降低了 32.83 个百分点。
arXiv cs.AIAI 评分3333 蒸馏直至发散：面向智能体强化学习的错误截断后见蒸馏方法
研究提出面向智能体强化学习的错误截断后见蒸馏方法，通过轨迹结果与错误边界路由两类互补的后见技能，解决长程交互中后见监督与状态不匹配的问题。该方法利用正面技能强化成功决策，利用负面技能针对关键错误提供修正，错误发生后的后缀部分则完全由 GRPO 优化。实验表明该方法具备竞争力的任务表现，并支持有效的细粒度信用分配。
arXiv cs.AIAI 评分3333 科研构思的起点：基于前向引文监督生成可执行的文献局限性
研究人员提出了基于前向引文监督生成文献局限性的三阶段后训练流程，包括监督微调、验证器过滤的拒绝采样微调以及在线密集奖励强化学习。该研究构建了包含 18,279 个经人工验证三元组的数据集 ActLim-Bench，并在前沿模型评测中取得了最高的召回率得分。人工对比评估显示，所生成的局限性在 64.9% 的非平局比较中更受青睐，相关数据与代码将在发表后开源。
arXiv cs.AIAI 评分3535 DiffusionRVGE：基于回归价值梯度估计的扩散模型强化学习方法
研究者提出扩散模型强化学习方法 DiffusionRVGE，通过对中心化奖励与最终去噪图像进行回归来构建更新方向，无需奖励导数或沿采样轨迹的反向传播。
arXiv cs.AIAI 评分3636 ToPA：用于高表达力且高效微调的分块托普利茨适配方法
研究人员提出基于分块托普利茨（Toeplitz）矩阵的参数高效微调（PEFT）方法 ToPA，在不引入显式低秩或稀疏约束的前提下实现紧凑参数化。该方法通过分块结构提升因子容量并缩短乘法链长度，不仅稳定了梯度训练，理论上还能以更短链长逼近任意矩阵。在涵盖 5 种模型架构的 21 个 NLP 和 CV 数据集评测中，ToPA 的有效性均得到验证。
arXiv cs.AIAI 评分4949 压缩在先，内容在后：奖励模型中的突发性未对齐现象研究
研究发现对奖励模型在单一领域（医疗或金融）进行有害偏好微调后，未对齐现象会泛化至 7 个保留领域，且奖励模型比大语言模型更易发生偏好反转。在微调 Skywork-Reward-V2-Llama-3.1-8B 和 Skywork-Reward-V2-Qwen3-8B 时，模型在 RewardBench 2 评测中仅损失 4.8 和 5.3 分。
arXiv stat.MLAI 评分3434 高维稀疏更新下随机动量的动力学分析
一项理论研究分析了稀疏更新下随机动量的动力学行为，推导了稀疏输入最小二乘与罕见类别逻辑回归两个模型的高维极限闭式二阶矩动态。其相结构由动量保留与学习两个时间尺度的比值决定：学习远慢于保留时趋近 SGD，学习更快时系统不稳定，二者吻合时则恢复经典重球动力学。不同 token 稀疏度会导致振荡动量值不同，从而在不同 token 频率间引发全局动量的谱冲突。
arXiv stat.MLAI 评分2727 基于对抗随机森林的缺失值插补方法 MissARF
研究人员提出基于对抗随机森林（ARF）的生成式缺失值插补方法 MissARF，可同时支持单重与多重插补。该方法利用 ARF 进行密度估计和数据合成，以非缺失值为条件从估计的条件分布中采样填补缺失值。实验表明，MissARF 在插补质量和运行速度上与现有 SOTA 方法相当，且进行多重插补无需额外开销。
arXiv stat.MLAI 评分2828 无穷方差梯度下非线性 SGD 的精确尾部法则
针对具有无穷方差梯度噪声的非线性常步长 SGD，最新研究通过精确一阶尾部概率刻画了最后一次迭代的精度。在正则变化指数 $t\in(1,2)$ 的设定下，主测度通过局部 Hessian 流传递单次大梯度冲击，并在固定 batch size $b$ 时引入 $b^{1-t}$ 因子。该结论给出了显式的投影与超额目标尾部及极端分位数，并在 1 到 100 维的模拟中验证了校准度与 batch 效应。
arXiv stat.MLAI 评分4040 随机机器学习实验的等效性检验与运行次数设计
针对机器学习训练中仅凭两三次运行无法严谨证明方法等效的问题，研究人员提出了一套用于验证 AUROC 等指标实际等效性的检验方案与功效理论。该方案基于区分运行间分散度与样本级噪声的两层方差模型，采用双单侧检验（TOST）及两层 Bootstrap，并给出将等效裕度与目标功效转换为每种方法所需运行次数的闭式公式。
arXiv stat.MLAI 评分3434 岭回归中通过迁移学习实现极小化极大最优缩放定律
研究人员针对高维岭回归迁移学习机制展开分析，证明微调模型可在特定机制下使缩放定律达到极小化极大最优指数。研究建立了模型与协方差偏移下的风险确定性等价形式，发现该机制下的最优源正则化仅依赖源数据，且通过单遍随机梯度下降微调同样能达到该最优速率。理论分析已在合成环境和语言模型实验中得到验证。