隐藏学习结构的动力学研究
研究人员提出了纤维调节理论（FRT）与纤维获取理论（FAT），用于刻画模型隐藏学习结构中的受保护功能修复及可训练结构更新动力学。在 Qwen2.5-32B 结合 AdamW、经验回放与输出知识蒸馏的实验中，受保护 head 修复与固定容量 LoRA 更新的协同策略在全部四项对比中均取得了高于单一策略的 teacher-forced Exact 表现。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分3434 arXiv cs.LGAI 评分2727 门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖：LSTM 与 GRU 网络的受控研究
一项涵盖 720 次训练的对照研究表明，chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下，全部 360 次 chrono 初始化训练均在 5000 次更新内达标，即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下，常规初始化下 Dropout 普遍拖慢学习，Zoneout 仅在部分条件下有效。
arXiv cs.LGAI 评分4343 更优策略反致验证器审计恶化：策略内审计崩溃机制与修复
研究表明，在后训练与测试时计算循环中，随着策略性能提升，针对整体成功标签审计组件验证器会导致“策略内审计崩溃”，使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC，将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案，通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。
arXiv cs.LGAI 评分4040 FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体强化学习的系统优化研究
研究者针对 Qwen3.8-Flash-Next 推出强化学习优化框架 FlashNext-RL，在单台 8xB200 节点上实现了 48 层完整模型的 BF16 训练。
arXiv cs.LGAI 评分3535 正交化如何适应神经网络 Hessian 结构？基于初始化的梯度自外积分析
新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制，从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优，从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率，并通过语言模型实验验证了该缩放规律。
arXiv cs.LGAI 评分3232 数据差异化框架（DDF）：在智能体评估流水线中量化边际数据价值
研究提出数据差异化框架（DDF）与智能体评估流水线 SDSAE，结合互信息冗余惩罚、成本归一化边际效用及治理输入来量化评估候选数据资产的增量价值。
arXiv cs.LGAI 评分3939 通过知识重塑对抗持续领域自适应中的灾难性遗忘
研究提出 Skill Schema Transport（SST）后训练框架，通过将新知识转译至模型已有技能空间实现程序复用，以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上，SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上，该方法将最大遗忘降幅从 42.41 分降至 7.10 分，并大幅恢复了 OOD 退化。
arXiv cs.LGAI 评分3939 RL-IF：追踪在线强化学习中的非局部训练数据影响
研究提出了 RL-IF 框架，通过形式化轨迹级留一指标 RL-LOO，解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应，并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中，RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。
arXiv cs.LGAI 评分3737 Looped Transformer 中截断反向传播会丢失多少梯度？
一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度，发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度，但该丢失量在微调 300 步内下降了 0.07-0.22。同时，该指标未能证实比免测量的规则更能预测截断训练成本。
arXiv cs.LGAI 评分3737 高斯先验何时失效？强化学习微调下的潜在几何结构研究
研究指出潜在扩散模型的标准 VAE 高斯先验在强化学习微调下存在结构性缺陷，多模态数据会导致不同模态在潜在空间重叠并引发模式崩塌。在丙氨酸二肽玻尔兹曼分布测试中，高斯先验 VAE 在 beta_c = 0.224 时发生崩塌，而模式追踪高斯混合先验在 0.00316 时才崩塌，差距达 71 倍。该放大效应源自学习到的策略，且模式分离先验能带来不可替代的覆盖率优势。
arXiv cs.LGAI 评分3535 ArcFlow：面向多种求解器预算训练流策略
研究人员提出面向部署的算法 ArcFlow，支持在单一流策略中跨指定求解器步数范围训练，同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中，ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。
arXiv cs.LGAI 评分3939 先测量再分配：面向强化学习中 MCP Agent 的校准 Rollout 预算
研究人员提出了基于奖励分歧的 Discord 评估方法与 BRACE 预算分配框架，用于优化 MCP 环境下工具调用语言模型的强化学习训练。BRACE 通过结合历史任务证据、成功率不确定性及相关奖励模型，在前瞻性预测混合奖励组后再分配生成预算。在 3 种 Qwen3-VL 参数规模下，BRACE 以更少的新训练 rollout 超越基准表现，并在 BFCL 与 NESTFUL 上取得领先。
arXiv cs.LGAI 评分3232 面向以人为中心环境的离线学徒学习框架研究
该论文针对以人为中心的环境，提出了围绕奖励建模与演示质量的两类离线学徒学习（AL）框架。在奖励建模上，EM-EDM 与分层奖励调节框架 THEMES 在 1 个教育和 3 个临床数据集上超越了对比基线；在演示质量上，HALIDE 与引入贝叶斯信用分配的 CCHAL 实现了混合质量数据的高效利用。
arXiv cs.LGAI 评分4141 SimHack：在 RL 训练前预测可检测奖励欺骗的爆发时机
研究人员提出模拟器 SimHack，利用少量小规模参考 RL 运行学习训练动态，可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中，其预测爆发中位数的相对误差仅 11.3%，跨配方排序相关性达 0.85，并泛化至不同模型规模与学习率。通过筛选 RL 课程，它成功找到了使无欺骗训练时长延长 96.6% 的方案。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker 推出训练会话 API，无需管理 GPU 即可编写自定义训练循环
Amazon SageMaker AI 推出训练会话 API（training session APIs），允许开发者在本地 Python 环境编写自定义训练循环，并将 GPU 算力执行完全托管在云端。
推荐理由：该 API 将算力调度与训练控制流解耦并按 Token 计费，让开发者无需运维 GPU 即可低门槛实现自定义对齐与强化学习算法。
AWS Machine Learning Blog精选AI 评分6565 Amazon SageMaker AI 推出无服务器训练会话功能：免管理 GPU 定制模型
Amazon SageMaker AI 正式推出无服务器模型定制的训练会话（training sessions）功能，允许开发者在无需管理 GPU 集群和分布式配置的情况下，通过代码灵活控制后训练循环与奖励函数。
推荐理由：原文展示了如何通过 Serverless 架构托管底层算力调度，让开发者直接用代码灵活控制多轮强化学习训练循环。
量子位AI 评分5151 具身数据供应商 Maxinsights 跻身 OpenAI 与 Google DeepMind 供应链，ARR 逼近 1 亿美元
具身智能数据初创公司 Maxinsights 进入 OpenAI 与 Google DeepMind 等头部玩家供应链，累计交付超 200 万小时第一人称数据，连续多月 ARR 达到或接近 1 亿美元。
arXiv stat.MLAI 评分3434 用于学习稳定二值表征的复合激活函数
研究人员提出重尾激活函数（HTAF），作为 Heaviside 函数的平滑近似，以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成，在零输入附近保留较大梯度且尾部衰减更慢，能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型（ICBM）实现了特征离散化，在图像数据集上取得媲美或优于标准模型的预测表现。
arXiv stat.MLAI 评分3131 面向标签噪声分类的模型无关信息迁移与融合
针对大规模含噪标注数据与少量专家验证干净数据共存的场景，该研究提出了一种通用的模型无关非参数分类框架。该方法利用小规模干净数据集提纯大规模含噪数据，并精细处理剩余的模糊样本，克服了传统方法对参数相似性假设的依赖。该框架拥有严谨的统计理论支撑，已在模拟实验及肺炎诊断医疗影像分析中验证了实际性能。
arXiv stat.MLAI 评分3737 MoE Transformer 的泛化与缩放定律研究
研究者提出了针对 MoE Transformer 的泛化与缩放理论，将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化（ERM）分析，证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致，并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。
arXiv stat.MLAI 评分2525 二值语义分割在模拟类别不平衡与标签偏移下的主动学习研究
研究人员针对机器视觉中缺陷样本稀缺与存储受限导致的偏差问题，提出了一套基于两个开源数据集的受控可复现实验方案，用于模拟不同程度的类别不平衡与标签偏移。实验对比了随机采样、基于熵的选择、核心集选择以及感知不平衡的 galaxy 采样四种主动学习策略。结果表明，基于熵和核心集的选择在高不平衡数据下依然优于随机采样，并量化了严重标签偏移带来的效率损失。
arXiv stat.MLAI 评分3434 记忆长尾数据可通过组合提升模型泛化能力
记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明，在线性设定下，记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测，即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明，该结论可拓展至线性设定之外，且模型的组合能力取决于其网络架构。
arXiv stat.MLAI 评分3636 合成数据能否复现流行病学真实结果？基于对抗随机森林的复现研究
研究提出利用对抗随机森林（ARF）合成流行病学表格数据，并在涉及血压、心肌梗死与糖尿病等 6 项流行病学研究中成功复现了原始统计分析。实验表明，ARF 生成的数据在描述性和推断性分析中均与真实结果高度一致，即使样本量相对维度偏低也表现稳定。对比常用表格合成工具，ARF 在数据效用、隐私保护、泛化能力及计算效率上均展现出显著优势。
arXiv stat.MLAI 评分3434 保留还是适应？泛化持续学习
新研究质疑了持续学习过度注重缓解灾难性遗忘的传统设定，指出非平稳环境中保留旧知识会阻碍实时适应。研究提出迁移效率指标与关键任务持续时间阈值，量化了历史知识由预热优势转为优化负担的临界点。团队还提出了预测性持续学习（Predictive Continual Learning）框架与 Window 算法，在图像分类与强化学习基准上验证了其适应优势。
arXiv stat.MLAI 评分3939 通过 Dreaming Learning 缓解模型崩溃
研究提出利用高温采样训练的 Dreaming Learning 方法，以缓解生成模型在合成数据训练中出现的多样性丧失与模型崩溃。该方法通过展平预测分布使学习算子的特征值远离单位圆，从而持续维持对状态空间的探索能力。经 5000 代迭代测量，该缓解效果在 LSTM 语言模型及 124M 参数的 GPT-2 上均得到验证。
arXiv stat.MLAI 评分3434 研究提出面向长程智能体的效应边际策略优化算法 EMPO
研究者针对 LLM 智能体在多轮强化学习中不同文本表述导致信用与策略更新错位的问题，提出了效应边际策略优化算法 EMPO。EMPO 通过构建效应级替代目标联合更新不同文本表述，在保留原始信用信号的同时兼容轨迹级与单步信用估计，且无需额外的 critic 或 rollout。在 ALFWorld、WebShop 和 Sokoban 上的实验表明，EMPO 在任务表现和学习效率上均超越了基线方法。
arXiv stat.MLAI 评分3333 GaP-MoE：基于正交梯度累积与投影实现 MoE 专家显式专业化
研究者提出 GaP-MoE 方法，通过直接操作专家输出梯度而非修改损失函数，来解决稀疏混合专家（SMoE）模型中的表征崩塌问题。该方法在训练时随机选出一个 Leader 专家，并将其余 Follower 专家的梯度投影至与其正交的子空间，以此消除梯度方向重叠。
arXiv stat.MLAI 评分3636 近似 Solomonoff 归纳：论学习通用预测器的鲁棒性
关于近似 Solomonoff 归纳法的最新研究给出了通用预测器误差的最坏情况紧确界。在先验概率为 $w_\mu$ 的环境中，近似预测器的超额误差紧确界为 $\Theta(\eta/w_\mu)$，表明在小先验概率下性能会显著下降，但按先验加权的平均超额误差仅为 $O(\eta)$。论文还建立了分布偏移定理，并将鲁棒性分析拓展至与神经网络和 Transformer 相关的有限采样设置。
arXiv stat.MLAI 评分3333 曲率缩放锐度感知最小化（CS-SAM）：突破传统平滑性限制的收敛性研究
研究者提出了曲率缩放锐度感知最小化（CS-SAM），通过曲率上限同时缩放扰动和下降步长，解决了传统 SAM 及 USAM 在广义平滑条件下梯度失真可能无界并导致震荡或发散的问题。
arXiv stat.MLAI 评分3636 面向大语言模型推理高效探索的重试感知策略优化 ReAPO
研究人员提出大语言模型推理优化算法 ReAPO，通过改进 GRPO 引入重试感知信用分配，在不奖励前序失败的前提下强化成功重试。在 0.6B 至 4B 的 Qwen3 与 OLMo-2 模型及 8 个数理基准测试中，ReAPO 首答表现全面超越 GRPO。在 Qwen3-0.6B 上，其达到峰值准确率生成的 token 较组大小或步数翻倍的 GRPO 分别减少 39% 与 31%。
arXiv stat.MLAI 评分2828 通过 Stein 算子估计未归一化模型的统一方法
该研究提出了一种将真评分规则与 Stein 方法相连接的统一框架，用于未归一化模型的参数估计。该框架构建了一类涵盖得分匹配、比率匹配、伪似然以及噪声对比估计（NCE）的真评分规则，并证明其能自然诱导 Stein 算子。借助诱导 Stein 算子的几何视角，该工作为相关估计量的渐近效率提供了统一表征。
arXiv stat.MLAI 评分4141 当思考化为记忆：统一上下文学习与微调决策的信息论法则
研究人员提出了首个经证明的判定准则，基于信息价值精确法则决定未见数据应放入预训练模型的上下文还是权重中。该法则通过在保留查询上节省的编码长度量化信息价值，并通过随时有效检验控制误差；在针对 GPT-2 缓存与微调的 32 项对比中，该检验在 64,000 条查询流里正确选出 61,948 次，空流错误率至多 3.3%。
arXiv stat.MLAI 评分3434 基于内部引导的倾斜扩散模型采样方法
研究者提出一种用于倾斜扩散模型采样的“内部引导”（internal guidance）方法，不修改基础去噪器输出，而是通过改变其评估输入点来实现采样。针对超立方体上的离散分布，线性倾斜密度的去噪器可严格等价为对输入进行平移和缩放后的基础去噪器。该方法通过在训练中加入随机对角缩放，使单个去噪器网络无需微调或外部引导项，即可支持二元奖励倾斜、类别标签引导和内容填充采样。
arXiv stat.MLAI 评分3333 反向 Gold 定理：基质有界对比学习器仅凭正样本实现语言识别
研究者提出了与 Gold 定理相反的正向结论，证明基于先验递归对比算子和 InfoNCE 式对比估计的有界判别评分器，仅凭正数据即可实现 PAC 条件识别。该学习器自行构建负样本且无需计算全局归一化常数，样本复杂度与容量、轨道大小及 1/ε 呈多项式关系。在间隔条件下该排序可提升为全局成员分类器，并能组合为免归一化的 Metropolis–Hastings 生成器。
NVIDIA Blog精选AI 评分6868 NVIDIA 扩展 Cosmos 平台并开放世界模型训练、评测与部署工具
NVIDIA 扩展 Cosmos 平台，推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体，帮助开发者加速物理 AI 与世界模型的开发与落地。
推荐理由：这套工具通过合成数据生成与闭环仿真评测，为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。
AWS Machine Learning BlogAI 评分3434 在 AWS Trainium 上使用 torchtitan 训练 Qwen3
AWS 展示了在单台配备 16 个 Trainium2 加速器的 trn2.48xlarge 实例上，使用 torchtitan 训练 Qwen3（如 Qwen3-4B-Instruct-2507）的三种配置方式。
arXiv cs.AIAI 评分4141 Ask to Distill：面向同策略知识蒸馏的数据合成框架
研究人员提出 Ask-to-Distill 框架，无需参考答案或正确性奖励，通过冻结的学生与教师模型计算分布代理奖励，学习合成用于同策略知识蒸馏（OPD）的高价值问题。该方法在数学推理、代码生成和智能体任务中提升了平均表现与教师差距恢复率，匹配或超越了真实题库的 OPD 效果，相关代码、数据和模型已公开。
arXiv cs.AIAI 评分3434 用于 LLM 推理的稀疏强化学习松弛方法 SpaRLax
研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法，通过利用 soft-CoT 推理跨时间步的可微性，提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度，在置信度高时截断长尾噪声，不确定时保留多个候选 token。在 9 个推理基准测试中，SpaRLax 的平均性能超越了基线方法。
arXiv cs.AIAI 评分2727 针对组合增量学习的 LSA-PAST：分层自适应与原型迁移方法
针对组合增量学习中的基元表征漂移问题，研究者提出了参数高效方法 LSA-PAST。该方法将 LoRA 集成到冻结的 ViT 中，通过 LSA 为状态、物体和组合构建深度专用的适配器，并通过 PAST 借助无重放仿射变换将历史原型映射至当前适配器空间。实验表明，LSA-PAST 在组合增量学习中取得了 SOTA 的准确率与抗遗忘权衡表现。
arXiv cs.AIAI 评分3535 通过偏好优化训练 AI 智能体掌握德州扑克策略
研究人员提出结合 KL 锚定均衡的策略偏好优化方法 SPOKE，用于提升紧凑型 AI 智能体在不完全信息扑克博弈中的策略水平。在 SmallThinker-4B-A0.6B 的三次测试中，SPOKE 在 Kuhn 和 Leduc 环境中取得最低的平均可被剥削度 0.213 与 1.081，并在六人桌达成最高的 top-1 一致性 0.775。