MatrixReward：基于评分细则矩阵的开放式生成奖励机制
MatrixReward 针对缺乏标准答案的开放式生成任务，通过在各项评分细则下两两对比生成回答来构建胜率矩阵。该方法结合细则统计特征自适应计算细则权重，并依据样本到正负理想分布的距离确定质量奖励。在基于 Qwen3-8B 的 4 个开放式问答评测基准中，MatrixReward 取得 63.02 的平均分，超越最强基线约 2.0%。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3434 arXiv stat.MLAI 评分3434 FAER：面向大语言模型后训练的可审计效用对齐轨迹回放框架
研究人员提出面向大语言模型后训练的可审计全轨迹回放框架 FAER，通过对齐下游学习者效用解决回放选择与学习目标脱节的问题。在基于 Qwen2.5-1.5B-Instruct 的 GSM8K 实验中，固定选择器在 128 次更新下达到 0.6329 的质量得分，优于均匀采样的 0.5482 与格式反馈的 0.6037。
arXiv stat.MLAI 评分2828 基于 PU 数据的 partial AUC 最大化方法
针对负样本标注困难的问题，研究人员提出一种无需负样本、直接基于正样本和未标记（PU）数据最大化 partial AUC（pAUC）的新方法。该方法在经验风险最小化框架下，证明 pAUC 可仅用正样本与边际密度表示，并通过最大化推导出的平滑经验 pAUC 估计量来训练分类器。团队在 10 个真实数据集上验证了该方法的有效性。
arXiv stat.MLAI 评分3535 掩码重采样的隐藏优势：掩码自编码器理论
新理论研究证明，掩码自编码器（MAE）能在线性样本复杂度下恢复潜在特征，而等价于 PCA 的无掩码重构在该机制下失效。分析进一步量化了掩码重采样的统计优势，证实更高的掩码多样性能降低样本复杂度。去除常规图像增强的干扰后，动态掩码在 CNN、Vision Transformer 以及 BERT 的下游任务中均体现出性能优势。
arXiv stat.MLAI 评分3535 ChainLoRA：面向大语言模型持续学习的保几何任务向量合并框架
研究人员提出无重放持续合并框架 ChainLoRA，通过链式更新任务向量几何实现大语言模型的持续参数高效微调。该方法将链式更新训练与流后自适应 SVD 合并相结合，仅利用上一个载体维持常数级历史开销，并通过单侧正交代理与有效秩惩罚抑制任务间干扰。实验表明，ChainLoRA 在 Large 和 SuperNI 基准上取得了受测无重放方法的 SOTA 性能。
arXiv stat.MLAI 评分3636 Transferable Graph Metanetworks：可跨网络尺寸迁移的图元网络
研究者提出 Transferable Graph Metanetworks，通过在图元网络中引入函数表示不变性与连续性，实现了对不同宽度输入神经网络的跨尺寸泛化。该方法在采用最大更新参数化（$\mu$P）训练的输入网络上表现最优，在高达 42x 训练宽度下仍保持鲁棒。理论上，团队基于无限宽极限理论证明了其泛化保证，并阐明了其他参数化失效的原因。
arXiv stat.MLAI 评分2929 加权数据选择：上半区与五维精确法则
在最小范数学习器的有限加权最小二乘设定下，该研究证明了加权数据选择在 $\lceil3d/2\rceil\leq n\leq2d-1$ 区间内的精确风险法则为 $\Gamma_d(n)=3-n/d$。该数据集层面的完整上界与紧度构造已在 Lean 4 中完成形式化验证。此外，针对较小预算 $(d,n)=(5,6)$，研究进一步给出了精确法则 $\Gamma_5(6)=11/5$。
AWS Machine Learning BlogAI 评分3636 uniopen 如何定制 Amazon Nova 以适配零售审核策略生产部署
台湾统一企业集团旗下平台 uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调与提示词优化，以适配其定制零售审核策略。该架构使用 Amazon Nova 2 Pro 生成纠错候选并配合人工复核，基于 3,391 个训练窗口完成微调。结合硬门禁回归测试与软门禁预警机制，团队在 737 个测试窗口上评估并实现了受控的生产环境部署。
Apple ML ResearchAI 评分4646 RLTL;DR：通过内化自生成反馈实现自我改进
强化学习方法 RLTL;DR 通过让模型在失败后生成单条 TL;DR 洞察并内化映射，实现无解题示例下的自我改进。在 Pass@128 = 0 的高难任务中，该方法使 Qwen 3.5 9B Thinking 的 Pass@1 从标准 GRPO 的 0%–1% 提升至评测无洞察时的 12%–13%。仅用 4k 个（任务, 洞察）元组训练的 SFTL;DR 也几乎复现了全量 rollout 的性能。
arXiv cs.AIAI 评分3434 学会遗忘：面向 LLM 表示空间的分布遗忘
研究人员提出非参数分布遗忘框架 Mamushi，通过概率分类器估计对数密度比来筛选待遗忘样本，以消除大语言模型中的毒性语言或特定域内容。理论证明对总体对数密度比设定阈值可在固定预算下达到最优选择规则，并建立了非渐近迁移保证。在毒性语言与主题移除实验中，Mamushi 实现了更优的移除与保留权衡，减少了达成遗忘目标所需的样本量。
arXiv cs.AIAI 评分3535 OpenJev-RLCD：面向推理模型的可校准决策强化学习实现
研究者推出 OpenJev-RLCD，针对推理模型过度自信问题实现了一种基于严格真评分规则的可校准决策强化学习（RLCD）方案。该方法采用“先校准后强化”的两阶段训练策略，解决策略优化中的噪声与推理失效问题。在 Qwen3-1.7B 评测中，RLCD 准确率持平或超越 SFT 与 GRPO，并在选择性预测上击败所有对比基线，相关代码已开源。
arXiv cs.AIAI 评分4242 自进化算法设计智能体：通过群体精选策略优化打破上下文进化停滞
研究者提出群体精选策略优化（PCPO），通过学习自生成算法实现参数自进化，解决算法设计智能体的上下文进化停滞。在 EDA 任务中，仅在 4 个芯片案例上训练的 8B 基础模型 PCPO 跨 16 个案例超越 OpenEvolve，表现媲美 GPT-5.5。该方法不仅降低了推理 token 成本，还在 4 个 GPU kernel 设计上比 PyTorch Eager 基线平均加速 8.27x。
arXiv cs.AIAI 评分4343 UniEvo-VL：面向多模态模型自我提升的在线自蒸馏训练方案
UniEvo-VL 是一种多模态模型在线自蒸馏训练框架，让单一模型同时充当学生与基于自我纠错反馈的教师，在无需外部更大模型的情况下实现自我提升。基于开源模型 Qwen-image-2512 的实验显示，该方法将其 GenEval 得分从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 提升至 35.53。
arXiv cs.AIAI 评分3535 SimTrace：面向在线用户建模的多模态用户轨迹生成框架
研究人员开源了多模态用户轨迹生成框架 SimTrace，利用计算机使用客户端智能体生成高保真、细粒度的合成点击流数据。在电商环境评测中，SimTrace 在 8 项保真度指标中的 7 项超越基线，并在购买预测与推荐等下游任务上达到与真实数据相当的性能。在下一动作预测任务中，引入其合成数据增强使准确率相对仅用真实数据提升 11.0%。
arXiv cs.AIAI 评分4545 MetaPersona：基于实证社会科学构建任务导向的合成群体
研究团队推出 MetaPersona 框架，利用实证社会科学数据为大语言模型社会模拟生成任务自适应的合成群体。该框架依托包含 11,000+ 项研究的 MetaPersona-DB 构建依赖图并采样角色，使用 GPT-5.2 将单任务成本降至 $0.5 以下，在错误信息信念等评测中表现强劲。此外，团队还推出了原型交互界面 MetaPersona-Studio。
arXiv cs.AIAI 评分3535 通过上下文选择与目标加权微调扩散大语言模型
研究者提出离散扩散大语言模型微调方法 GoldiMask，通过最大化次模目标选择可见上下文 token，并对剩余预测目标进行加权。在 3 个骨干模型和 3 个训练数据集的评测中，GoldiMask 在推理与代码生成任务的大多数设置下取得了最高平均准确率。在置信度阈值并行解码下，该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。
arXiv cs.AIAI 评分4545 已对齐数据可通过“上下文混淆”诱发大语言模型未对齐
大语言模型微调使用已对齐数据时，会因“上下文混淆”（context confusion）在其他语境中诱发出未对齐行为。该现象在性别平等、隐私和人身安全领域均被验证，表现为狭义未对齐，且通用对齐数据无法有效缓解。加入定向对齐数据或在推理时提供上下文学习示例可大幅减少此类混淆，仅靠检查训练数据难以预测最终对齐状态。
arXiv cs.AIAI 评分3434 超越模式坍塌：基于 GFlowNets 生成多样化合成专家对话
研究人员提出基于生成流网络（GFlowNets）生成多样化高质量合成专家对话的方法，以解决直接提示大语言模型导致的模式坍塌。该方法在辅导教学和情感支持对话领域中，比强化学习及端到端 LLM 基线更平衡保真度、模式覆盖度与真实性，且不复制训练数据。在 3 个下游结果预测任务中，其合成数据训练出的分类器表现出更强训练信号。
arXiv cs.AIAI 评分3434 通过门控与衰减同策略蒸馏提升 OCR 保真度
研究人员提出 GAD-RL，通过在联合后训练中自适应调节与衰减教师监督，提升视觉语言模型的 OCR 转录保真度。该方法在任务奖励达到 0.95 时停用蒸馏并持续衰减强度，同时依据学生概率对前向 KL 加权。
NatureAI 评分7171 OpenAI 慈善基金会启动 250 亿美元科学资助布局
OpenAI 慈善基金会正式启动至少 250 亿美元的科研资助计划，并开始落实生命科学与健康数据领域的首批资金。该基金会已承诺提供 1.25 亿美元建设开放健康数据，包含 4000 万美元癌症疫苗研发与 1500 万美元血脑屏障药物预测项目，此前亦资助了 1 亿美元阿尔茨海默病研究。
arXiv stat.MLAI 评分2727 基于学习特征几何的非线性最小二乘泛化能力研究
研究者基于平均算法稳定性分析了岭正则化非线性最小二乘模型的泛化能力，推导出局部极小值下依赖于训练参数梯度几何特征的误差界。该误差界通过经验雅可比 Gram 矩阵与残差曲率项衡量有效维度，使泛化保证取决于模型学到的几何特征而非参数量。在单隐层 ReLU 网络及基准数据集上的实验验证了该理论界与实际泛化间隙的一致性。
arXiv stat.MLAI 评分3636 将生成学习引入表示学习：作为分布匹配的自监督迁移学习
该研究提出将自监督表示学习建模为分布匹配（DM）框架，通过训练增强不变编码器使其特征分布匹配显式的几何参考，并采用 Mallows 距离度量分布偏差。该框架揭示了表示学习与生成学习的方向对称性，建立了优化目标与类中心分离及分类误差的理论联系，并证明了非渐近神经筛保证。仿真与图像基准实验表明其具备流形校正和跨标签空间迁移能力，代码已开源。
arXiv stat.MLAI 评分3434 面向连续扩散语言模型的分布匹配蒸馏
研究提出了面向连续扩散语言模型的分布匹配蒸馏（DMD）方法，包含 Simplex-DMD 与 Reinforce-DMD，旨在降低高质量并行生成所需的网络评估次数（NFEs）。
arXiv stat.MLAI 评分3434 概率对抗训练
研究者提出概率对抗训练方法，从概率视角通过拉大基于距离的分布与分类器诱导分布的间距来降低重叠，从而提升概率鲁棒性（PR）。该研究证明基于 KL 散度的目标构成了 PR 的可计算下界，并在理论上恢复出一种带缩放因子的对抗训练形式。实验表明该方法持续改善 PR，且其缩放因子还能直接增强非概率对抗训练方法的鲁棒性。
arXiv stat.MLAI 评分3333 佛之觉醒：总体损失平原期间的子空间学习
研究证明神经网络在总体损失几乎保持不变的平原期，仍能学习到显著更具预测性的特征表征。针对两层 ReLU 和 leaky-ReLU 网络，模型在损失平原检查点的 AGOP 主特征空间对齐度相对初始化提升至少 1/2，重拟合 MSE 降低超 0.399。该结论还拓展至 SwiGLU 网络，并在 21 个 teacher 模型、每模型 50 次初始化的实验中得到验证。
arXiv stat.MLAI 评分3939 理解离策略与在策略蒸馏：不同训练目标的机制解析
新研究针对多教师顺序蒸馏，对比了前向与反向 KL 散度对应的离策略与在策略蒸馏（OPD），系统解释了 OPD 的优势与脆弱性机制。研究团队开发了对应算法并证明表格设定下的对数遗憾界，随后扩展至函数逼近。结果显示，反向 KL 在无信息反馈下能更好保留专家偏好，但对低估正确回答的教师更敏感，且在长序列中可能偏向错误前缀。
arXiv stat.MLAI 评分3535 从最小范数插值视角解析 Grokking 现象
一项新研究从最小范数插值视角构建统计理论，定量刻画了正则化几何与信号稀疏度对 Grokking 延迟泛化的调控机制。研究证明了强过参数化无噪问题下的 0-1 泛化律，并在对角线性网络与模运算 Transformer 实验中验证了理论预测。此外，该研究还揭示出最小范数插值的统计不稳定性，即微小正则化扰动会导致泛化表现剧烈波动。
arXiv stat.MLAI 评分3434 基于选择性分类并具备性能保证的标签噪声转移矩阵估计
针对噪声标签学习中转移矩阵估计依赖脆弱的类别后验估计且缺乏理论保证的问题，新研究提出了一种基于单侧选择性分类的转移矩阵估计方法。该方法绕过了类别后验估计，能结合灵活的二分类学习方法，并提供有限样本性能保证。研究团队还推出了实现该方法的算法并给出了细化的有限样本性能界，该成果已被 NeurIPS 2026 接收。
arXiv stat.MLAI 评分2929 通过辅助监督缓解摊销贝叶斯推理中的表征鸿沟
研究提出一种在内部表征施加辅助引导损失的通用方法，以缓解摊销贝叶斯推理中特征学习与条件分布学习之间的表征鸿沟。该方法在训练数据充足时能加快收敛速度，在数据稀缺时可提升模型性能，并提供通用诊断工具用于区分总结失败与推理失败。测试表明，辅助监督在多项具有挑战性的真实世界推理问题中均提升了收敛速度和准确率。
arXiv stat.MLAI 评分3737 LoRA 在持续学习中的动力学理论
新研究构建了双任务模型中 LoRA 在持续学习下的动力学理论，通过常微分方程组精确刻画泛化误差。分析表明低秩更新虽减少旧任务干扰但会减缓新任务适应，且迁移增益达到目标任务内在维度后饱和，遗忘随 adapter rank 持续加剧。基于该机制的状态依赖掩码策略显著减轻遗忘并保留可塑性，结果在 sequential MNIST 上得到定性复现。
arXiv stat.MLAI 评分3737 利用任意维度机器学习热启动 PDE 求解器
新研究提出利用任意维度机器学习（如 GNN）跨维度热启动 PDE 求解器，使低维训练的求解器可零样本求解或加速高维 PDE。该方法基于方程与初始数据对称性，已应用于热传导、Burgers 和可压缩 Navier–Stokes 方程。测试显示，2D 数据训练的模型在 3D Navier–Stokes 测试中优于 3D 基线，仅使用 12% 的 FLOPs 和 20% 的数据量。
arXiv stat.MLAI 评分3131 Robust LassoNet：通过鲁棒损失函数增强神经网络特征选择
研究人员提出 Robust LassoNet，通过引入 Huber、Cauchy、Tukey's bisquare 以及 Nonnegative Garrote 等鲁棒损失函数，解决了原生 LassoNet 依赖 MSE 损失而对异常值高度敏感的问题。
arXiv cs.LGAI 评分3434 预条件物理信息神经算子训练
新研究提出一种用于物理信息神经算子训练的预条件残差损失函数，解决了微分算子导致的损失函数病态条件问题。该方案通过几何与代数多重网格实现，兼容多种算子架构且完全不增加推理开销。在泊松、Allen-Cahn 和稳态 Stokes 方程测试中，其无标签训练表现匹敌监督训练，精度比以往物理信息算子学习方法提高 4 到 25 倍。
arXiv cs.LGAI 评分2525 面向车联网的共享编码器分层联邦多任务学习 EN-HMTFL
针对车联网异构感知任务，研究提出共享编码器的分层多任务联邦学习框架 EN-HMTFL，结合全局共享编码器与本地解码器协作学习通用特征表征。车辆仅在分层网络中交换和聚合编码器，原始数据与本地解码器参数保留在车端。在 MNIST 和 GTSRB 测试中，该框架准确率最高提升 24.0%，通信轮数最多减少 69 轮（28.8%）。
arXiv cs.LGAI 评分3333 为什么神经网络后门攻击如此容易？
研究表明，赋予神经网络强大能力的特征学习机制反而会加剧其后门脆弱性。针对二次神经元的精确闭式分析显示，相比惰性学习所需的触发器强度比例 $\alpha \propto \pi^{-1/2}$，特征学习能将攻击预算优化至 $\alpha \propto \pi^{-1/4}$。这大幅降低了小投毒比例下所需的触发器强度，表明基于线性启发式的安全审计会系统性低估后门风险。
arXiv cs.LGAI 评分3434 基于逆向知识蒸馏的数据遗忘
研究人员提出逆向蒸馏遗忘框架 IDU，能同时将多步流匹配和扩散模型蒸馏为一步学生生成器，并抑制指定训练子集的输出。该方法仅需预训练教师模型与遗忘集数据，无需访问保留样本、额外特征提取器或分类器。在 MNIST 和 CIFAR-10 上的实验表明，IDU 能大幅降低遗忘类别的生成频率，同时保持保留类别的生成质量。
arXiv cs.LGAI 评分3737 持续学习中早期学习塑造后续表征变化方向
持续学习中神经网络的早期表征漂移会形成名为 scaffold 的低维子空间，并在后续任务中被持续复用。在 4 个预训练视觉编码器和 2 个数据集上，后续表征变化与优化器更新均优先沿用自身历史诱导的 scaffold。限制该 scaffold 内的变动会显著减缓新任务的学习速度，证实早期经验会在模型适应未来任务时留下持久的几何印记。
arXiv cs.LGAI 评分4545 FLOORA：面向建筑设计的人类对齐领域特定语言模型
建筑布局生成模型家族 FLOORA 正式提出，其 0.6B 参数模型在真实与合成建筑评测中分别取得 92.0% 和 96.0% 的 VLM 裁判胜率，并在 89.3% 的人工评估中获选最佳，超越更大规模的前沿模型。该方案结合专用 DSL、领域预训练、SFT 以及包含人类偏好与可验证奖励的强化学习，目前其数据集、模型与推理代码均已开源。
arXiv cs.LGAI 评分3737 CZAR 损失函数：面向金融对数收益率预测的专用目标函数
研究提出面向金融对数收益率预测的 CZAR 损失函数，旨在解决均方误差等对称回归损失导致预测趋向于常数零的问题。该分段二次损失具备解析梯度与 Hessian 矩阵，适配梯度提升库，其 4 个超参数可简化为单个选择。在日内 BTC 对数收益率的 LightGBM 实验中，CZAR 模型有效降低了零收益偏差，并提升了大幅波动下的方向预测准确率。
arXiv cs.LGAI 评分3434 ABC：面向可验证奖励强化学习的基于优势的控制变量
新研究提出面向可验证奖励强化学习（RLVR）的控制变量方法 ABC，并将其与直接优势估计（DAE）结合构建了 actor-critic 算法。该方案在离线到在线设定下运行，critic 先在历史收集的轨迹上训练并在在线学习中自适应更新。在数学推理任务中，ABC 仅用显著更少的在线优化步数，便取得了与 GRPO 相当的性能。