CleanRM：利用少量干净反馈解决 RLHF 噪声反馈奖励建模
研究人员提出 CleanRM，利用少量干净反馈通过最优传输来校准样本级噪声比，解决偏好数据中样本噪声不均导致的奖励建模偏差。该方法将带噪反馈反转的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失训练奖励模型，理论上证明其目标函数对干净风险是无偏的。实验表明，CleanRM 性能优于现有去噪基线，带来了更有效的下游 RLHF 对齐。
#数据/训练
#数据/训练
今日 1 条arXiv stat.MLAI 评分3333 arXiv stat.MLAI 评分2727 论梯度裁剪方法的末迭代收敛性
研究人员首次证明了 Clipped-SGD 在重尾噪声环境下以高概率成立的最优末迭代收敛速率，填补了该领域的理论空白。传统 SGD 在重尾噪声下面临发散或表现不佳的问题，而结合了梯度裁剪的 Clipped-SGD 虽在实践中表现良好，其末迭代收敛性质此前却缺乏充分研究。
arXiv stat.MLAI 评分4242 RSHD：通过回溯反思蒸馏从全失败尝试中恢复监督信号
研究人员提出基于重放筛选的回溯蒸馏方法（RSHD），可在 GRPO 训练期间将失败推理转化为经测试的额外监督来源。该方法让策略在不接触参考答案的情况下针对失败尝试生成修正提示，并在重放成功率更高时将其蒸馏回原策略，从而从全组失败中恢复学习信号。实验表明，RSHD 在多个模型家族、尺寸及两个训练领域中均持续优于 GRPO，收益可泛化至域外评估集。
arXiv stat.MLAI 评分3636 Muon 何时最优？径向脆弱性与 Minimax 几何
研究探讨了神经网络训练优化器 Muon 采用近似极因子更新的最优性条件及其曲率解释的稳定性。研究者引入随机半径各向同性曲率模型（RR-ICM），证明平均曲率解释存在径向脆弱性，无原子径向分布会导致零容量刚性。为此提出的 Minimax RR-ICM 表明，在球面概率分布的最坏情况下，非零全局极小值严格落在梯度的极射线上，为 Muon 的极方向提供了极小化极大变分表征。
arXiv stat.MLAI 评分3030 本地差分隐私下单变量密度的不可知高效学习
研究人员提出了一个在非交互式本地差分隐私（LDP）下学习分段多项式可逼近结构化单变量分布的通用框架。该方法首次为对数凹分布混合（如高斯混合模型 GMM）等分布族提供了样本高效、计算高效且具备不可知（agnostic）保证的学习算法。此外，该工作还证明了 LDP 下学习 GMM 的更优下界，并开发了大域合成数据生成的高效算法。
arXiv stat.MLAI 评分3232 随机梯度下降（SGD）：非线性时间序列视角
研究者从迭代随机函数框架出发，探讨了常数步长随机梯度下降（SGD）的统计学性质。通过证明 SGD 的几何矩收缩（GMC），该研究直接在欧几里得距离下建立了收敛性，并证明了平均 SGD（ASGD）在任意初始化下的淬火中心极限定理与 $\alpha$-稳定收敛。此外，研究还利用多步长增强 Richardson-Romberg 外推法降低估计偏差，并提出了新的在线推理方法。
arXiv cs.LGAI 评分3636 兼容性至关重要：在线策略蒸馏中的 token 级教师选择框架
研究者提出了一个在线策略蒸馏（OPD）中的 token 级教师选择框架，通过在 rollout 期间动态路由教师来兼顾推理模式兼容性、教师能力与学生多样性。理论分析证明了不同教师路由方案在不同场景下对优化和多样性的优势。在数学、编程、内核生成和视觉推理等领域的实验表明，该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。
arXiv cs.LGAI 评分3434 大语言模型更新匹配遗忘学习方法 UMU：兼顾抗重新学习与模型可塑性
研究人员提出大语言模型更新匹配遗忘学习方法 UMU，通过在防御模型与未防御参考模型上同步应用模拟重新学习更新，并在模型选择中引入新任务学习指标。在 TOFU 与 FaithUn 基准上针对 Llama 和 Qwen 模型的实验表明，UMU 使有害和良性重新学习平均分别降低 30.4 和 9.9 个点，同时将新任务准确率提升 3.5 个点。
arXiv cs.LGAI 评分3535 仅保留最难样本训练的理论优势：数据剪枝可达贝叶斯最优收敛率
新研究提出了加权经验风险最小化（ERM）下数据剪枝的高维学习理论，证明战略性剪枝可将分类测试误差衰减率从传统非指数尾部损失的 sqrt(N/P) 加速至贝叶斯最优的 N/P。该理论在样本量 P 远大于输入维度 N 的场景下表明，仅保留最难的 2N 个训练样本并丢弃其余大部分数据，即可实现上述最优性能。同时，该框架还刻画了剪枝策略与损失函数及标签噪声的相互作用。
arXiv cs.LGAI 评分4646 蛋白质设计系统在预训练与检索阶段的语料库投毒研究
新研究展示了针对蛋白质设计系统预训练与检索语料的纯数据投毒攻击，证实极少量恶意序列即可隐蔽操纵生成结果。在 300 million 参数的 ProtGPT2 与 ProGen2 预训练中，递增投毒仅需 200 个污染样本即可激活后门。针对检索系统的单条恶意记录可在 97% 的自由文本请求中抢占 top-16，并导致 62% 的请求生成篡改序列。
arXiv cs.LGAI 评分3737 评测裁判模型：标准即奖励（RaR）中的置信度与分歧研究
研究人员提出了多裁判集成策略 RaRE，用于改进将结构化标准作为强化学习奖励的 RaR 方法。RaRE 包含利用裁判 logprobs 对高置信度打分赋予更高权重的 soft-Likert 奖励，以及在 GRPO 更新中剔除高分歧样本的 drop-on-disagreement 机制。
arXiv cs.LGAI 评分3838 少步生成模型的噪声空间奖励对齐
针对少步生成模型的对齐难题，新研究提出噪声策略优化（NPO），通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率，推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中，NPO 性能优于直接微调，且推理成本比测试时搜索方法降低 16 到 549 倍。
arXiv cs.LGAI 评分3535 StochLOB：面向鲁棒限价订单簿趋势预测的重尾分值匹配方法
研究人员提出用于限价订单簿（LOB）趋势预测的分值匹配框架 STOCHLOB，在训练中引入非高斯前向扩散扰动且部署时保持确定性预测。该方法采用跳跃-Lévy 噪声与截断 $\alpha$-稳定噪声，无需在推理阶段进行反向扩散采样。在 Coinbase 留出数据测试中，该方法在 BTC 和山寨币上保持竞争力，改善了尾部压力指标，相关代码已开源。
arXiv cs.LGAI 评分2323 用于大语言模型算术推理的贝尔曼一致轨迹强化学习
研究人员提出一种用于大语言模型算术推理的贝尔曼一致轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将稀疏奖励转化为密集的 token 级信号。该框架结合 RLOO 分组策略与后验目标重标记，在稳定梯度方差方面显著优于 GRPO。
arXiv cs.LGAI 评分3737 视觉语言模型中的同策略知识蒸馏机制分析：学生模型如何继承教师模型的行为与缺陷
研究对比了视觉语言模型（VLM）后训练中的同策略知识蒸馏（OPD）与过滤 SFT，发现 OPD 会在学生模型访问的状态上同时继承教师模型的知识与失败模式。
arXiv cs.LGAI 评分4040 如何训练小模型构建与优化 GPU 编译脚本
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法，使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本，模型在监督微调与带延迟奖励的强化学习后，构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
arXiv cs.LGAI 评分3535 基于熵增采样与答案混合的递归离线知识蒸馏
研究人员提出一种结合熵增采样与答案混合的递归离线知识蒸馏方法，用于在无法完全访问教师模型内部表征时蒸馏推理链。该方法在 3-4B 开源模型上结合 70-72B 辅助中型模型按熵差采样推理链，并用单 token 真实答案补充思考轨迹。在相当的数据预算下，该方法平均得分达 57.15±1.01，优于原生知识蒸馏的 51.61，且展现出更陡峭的学习曲线。
arXiv cs.LGAI 评分5454 多数投票奖励为何能匹敌可验证强化学习
研究表明多数投票等自生成标签在强化学习中能逼近真实奖励效果，根本原因在于批次更新层面上跨提示词的标签错误缺乏方向一致性。实验测得单个提示词自身梯度占输出变化不足 1%，且多数投票与真实梯度的噪声校正余弦相似度在误差范围内为 1，随机翻转 30% 标签仍不破坏梯度方向。结果证明决定自生成标签能否替代验证的是错误一致性而非错误率，但真实奖励在最终准确率上仍具有局部优势。
arXiv cs.LGAI 评分3636 SHRED：无需专家演示的异构道路使用者自我博弈框架
研究人员提出 SHRED 框架，无需人类驾驶演示或轨迹回放，仅通过从随机初始化开始的大规模异构自我博弈联合训练机动车、行人与骑行者。在 Waymo Open Sim Agents Challenge（WOSAC）中，SHRED 联合控制三类主体并超越了无演示基线及基于演示参考策略的先验方法，仅基于 nuPlan 地图训练的策略在 Waymo 零样本评估中仍保持相当的真实感。
arXiv cs.LGAI 评分2727 扩散模型中的去噪分数匹配：秩约束对泛化能力的影响
一项新研究分析了扩散模型中带有低秩非线性项与线性跳跃连接的分数网络，揭示了秩约束对去噪分数匹配泛化表现的调控机制。基于三层网络和随机特征分数模型的实验与理论推导表明，增加秩会降低训练误差，但测试误差表现取决于样本量与数据维度。研究通过截断奇异值分解给出了精确的极限误差，指明数据子空间正交补的维度构成了自然的秩阈值。
arXiv cs.LGAI 评分3737 在推理大语言模型中摊销序贯实验设计
研究人员提出通过信息增益奖励显式训练行动选择背后的推理过程，将序贯贝叶斯实验设计（BED）摊销到大语言模型中。该方法将实验生成模型与大语言模型自身信念解耦，在 Twenty Questions 基准上以显著更低的计算成本超越了训练期和推理期 BED 基线，并泛化到未见类别。研究还证实该策略能正向迁移至真实临床对话基准 Medi-Q。
arXiv cs.LGAI 评分4040 用于可验证奖励离线强化学习的 Gibbs-Gap 策略优化（GGPO）
研究人员提出了 Gibbs-Gap 策略优化（GGPO），无需学习者与行为策略间的重要性权重即可在离线强化学习中训练大语言模型。实验表明，GGPO 在数学推理基准以及固定离线数据上均优于 GRPO 和 AGRO，并在策略过时度增加时保持性能稳定。消融实验显示，采用默认参考策略刷新调度的 GGPO 在五项基准问题加权平均分达到 46.58，远高于固定参考策略的 32.96。
arXiv cs.LGAI 评分3030 高维持续线性回归的最优显式与隐式正则化强度研究
一项新研究推导出高维持续线性回归在梯度下降训练下的泛化损失闭式解，证明单一或独立同分布教师任务下的最优固定步长随任务数 $T$ 按 $\ln T / T$ 衰减。该缩放下的泛化损失渐近等价于最优调优的各向同性 L2 正则化，研究还给出了对角正则化矩阵下最优正则项为各向同性的充要条件。相关理论预测已在线性模型与神经网络实验中得到验证。
arXiv cs.LGAI 评分3333 Optimal Hydra：基于数据感知 Hydra-Nets 的大语言模型异构联邦学习
研究人员提出基于 Transformer 架构的异构联邦学习微调框架 Optimal Hydra，结合全局层选择与匹配本地数据分布的客户端注意力头选择，构建客户端专用子网络 Hydra-nets。该方法据称是首个专门面向 LLM 微调的模型异构联邦学习方案。在 3 个数据集上的实验显示，Optimal Hydra 相比基线方法取得显著改进，并降低了本地资源需求。
arXiv cs.LGAI 评分4747 扩散语言模型的策略内残差学习框架 ORL
研究者提出扩散语言模型策略内残差学习框架 ORL，通过在去噪轨迹中即时学习并引入熵收缩目标，结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上，ORL 使每次前向传播生成 token 数提升高达 6.2x，配合 dlmrt 引擎端到端吞吐提升约 6.9x。
arXiv cs.LGAI 评分3333 TurboMamba：通过词汇记忆实现更快推理、更快训练与更佳预测的语言模型架构
研究人员提出大语言模型架构 TurboMamba，结合全局 Mamba-3 与小型 Transformer 块内预测以提升性能。在 FineWeb-Edu 评测中，TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%，端到端训练吞吐量达其 2.60x。在 32 批次推理测试下，其相较 Mamba-3 取得 3.12x 加速，并显著超越 Jamba 与 Zamba 变体。
arXiv cs.LGAI 评分3838 稀疏自编码器中的数据收益递减：功能表现并不保证特征可复现性
研究表明稀疏自编码器（SAE）的重构等功能表现在较小数据量下即可收敛，但特征的一对一可复现性仍随数据增加而持续提升。在 Gemma-2-2B BatchTopK 上的测试显示，严格匹配特征的比例从 5M tokens 时的 2% 增至 50M tokens 时的 29%。此外，随机采样更利于特征重构，而多样性采样常能改善 AutoInterp。
arXiv cs.LG精选AI 评分7171 论文解析 RLVR 域外性能提升中有多少仅源于答案格式变化
研究表明基于可验证奖励强化学习（RLVR）报告的跨领域得分提升很大程度源于答案格式而非解题能力。在 4 组 7B SimpleRL 模型上，公开答案抽取器报告的域外多选题涨幅有 82% 在能兼顾正文答案的新抽取器下消失，本质是强化学习使模型学会把答案放进 `\boxed{}` 框内。
推荐理由：论文揭示了强化学习评测中答案抽取器造成的格式假象，为检验模型真实跨领域泛化能力提供了直接的复核方法。
arXiv cs.AIAI 评分3535 CESNET-TimeSeries26：面向年度周期性、概念漂移与长期异常检测的多年度网络流量时间序列数据集
研究人员推出多年度网络流量时间序列数据集 CESNET-TimeSeries26，包含来自 CESNET3 网络的 995 天连续流量时间序列，以及约 4.5 年的单一子网数据。该数据集覆盖 278,466 个 IP 地址、285 家机构与 566 个机构子网，提供 3 种聚合粒度。实验表明年度季节性是主要周期成分，且预测模型只有在训练窗口至少覆盖一个完整年度周期时才能有效利用该特征。
arXiv cs.AIAI 评分4343 ProgAgent：通过编程式训练学习工具编排
ProgAgent 提出完整的编程式工具调用（PTC）训练技术栈，通过运行期变量存储中间结果以避免上下文膨胀与编排崩溃。该方案仅用 4 种环境规模下的 215 个合成任务完成两阶段训练，在 4 个基准测试中均优于同规模基线。在 LOCA-bench 的 64k-token 环境状态下，ProgAgent-14B 取得 30.7% 通过率，而参评基线得分为零。
arXiv cs.AIAI 评分3333 构建 LatentMoE：从专家几何结构到分层容量分配
LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律，通过平衡输入维度与中间宽度构建接近正方形的专家，可最大化局部雅可比秩上限。研究进一步利用层级内在维度（ID）指导跨深度容量分配，在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线，该方法取得了更低的验证损失与更强的下游表现。
arXiv cs.AIAI 评分4040 PEARL：面向多轮 AI 智能体的过程经验感知强化学习
研究人员提出 PEARL 强化学习方法，在无需额外 Critic 的情况下改善多轮 AI 智能体的局部信用分配。该方法通过定位分叉决策并聚类历史失败与成功记忆中的循环模式，选择性强化低奖励决策的负优势。实验显示，PEARL 在 AppWorld 的 4B 和 8B 规模上均超越 ARPO，并在 ALFWorld 4B 规模达到 97.9% 的平均成功率，高于最强基线 2.7 个百分点。
arXiv cs.AIAI 评分4545 在 LLM 上迭代，在 SLM 上服务
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑，再将真实线上行为通过 SFT 蒸馏到小语言模型（SLM）的部署方案。在护理排班场景中，基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性，表现比教师模型 GPT-5.4-nano 更稳定，盲测中以 48 比 29 获专业人员认可，并将中位数延迟降低约 2.5 倍且大幅降低成本。
arXiv cs.AIAI 评分3636 基于动作特异性信用分配的执行后学习
研究者提出“执行后学习”方法与动作特异性信用分配机制，将程序执行结果作为中间状态引入同一策略的训练。在 Image-to-TikZ 任务的 945 个留出样本测试中，该方法将单次调用渲染成功率提升至 92.70%，优于同等训练迭代下单阶段 GRPO 的 88.25%。该方法不仅增强了单次推理性能，还赋予了模型执行后修正能力，相关代码已开源。
arXiv cs.AIAI 评分3434 HiPPT：基于多范围文本对齐的生理学可穿戴 PPG 表征学习框架
研究者提出基于生理学机制的可穿戴 PPG 表征学习框架 HiPPT，通过将不同监督源匹配到对应的波形证据范围，并构建了包含 20.2 万名用户逾 400 万条腕部记录的 PPG 文本语料库。
arXiv cs.AIAI 评分4141 Echo：面向大语言模型训练与推理的误差补偿 4-Bit 张量并行通信
研究者提出面向大语言模型训练与推理的 4-bit all-reduce 方案 Echo，通过高精度求和与误差反馈消除累积量化误差，且无需 FP8 或 FP4 硬件。
arXiv cs.AIAI 评分3333 VETNET：构建驱动兽医 AI 创新的基准数据集
研究人员推出了 VETNET，这是一个由实时基准数据集和评估框架组成的生态系统，旨在通过标准化、高质量的数据集推动动物科学与兽医学领域的 AI 创新。该框架通过学术界与非学术界的多机构协作构建，旨在弥合人类医学 AI 进展与兽医 AI 碎片化发展现状之间的差距。
arXiv cs.AIAI 评分4141 扩散模型的校正训练方法
研究人员提出一种用于扩散模型的校正训练方法，通过在去噪步骤中引入校正器迭代优化预测，以缩小训练与推理间的曝光偏差差距。该方法在 DiT、SiT 和 JiT 上显著改善了无引导及无条件生成的 FID 分数，效果可媲美 CFG，且结合 CFG 能提升多样性并减少过饱和。校正带来的额外推理开销还可通过蒸馏回基础模型消除，在无额外推理成本下保留质量提升。
arXiv cs.AIAI 评分4343 ClawLoop：基于测试框架原生训练循环的自我改进智能体
研究人员提出 ClawLoop 框架，无需外部教师模型即可通过任务合成、SFT 或 RL 训练以及诊断反馈三阶段循环实现 AI 智能体自我改进。以千问 Qwen3.6-27B 作为循环模型，该框架在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上均取得持续提升。
arXiv cs.AIAI 评分5252 论文揭示数据科学智能体中的静默失败
研究人员针对数据科学智能体展开系统评估，指出仅依赖下游预测指标和代码正确性会掩盖数据泄露与不当验证等方法论缺陷。通过跨 220 个数据科学任务的分析与测试套件验证，研究发现绝大多数智能体方案均存在至少一种失败模式，且数据泄露与高预测表现正相关。对比 Kaggle 竞赛专家方案，现有智能体在解决问题的创造力与领域知识上仍存在明显不足。