LinMix：将数据混合建模为线性领域归因
研究人员提出数据混合方法 LinMix，通过在截断单纯形顶点采样解耦领域效应，无需超参数即可通过线性归因直接确定最优预训练数据配比。在 1B OLMo2 与 4B Qwen3.5 实验中，LinMix 较 Dirichlet 采样基准在 MBPP 和 GSM8K 上分别取得 46% 与 14% 的相对增益，并在 288 个细粒度领域下将平均基准准确率提升 11%。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3434 arXiv stat.MLAI 评分4343 数据价值何时等同于类别平衡？单样本数据估值的覆盖视角
研究指出单样本数据估值的固定 top-k 筛选规则因无法反映样本交互，易在已覆盖模式上浪费预算。当标签能识别模式时应使用类别平衡，无法识别时应采用显式覆盖；无标签场景下无标签覆盖可提升准确率达 +0.20，而原始 top-k 甚至低于随机选择。该优势依赖特征表示，若相关模式未在模型几何中表达则覆盖策略失效。
arXiv cs.AIAI 评分3838 EnvLunch：让可执行环境成为智能体交互学习的“免费午餐”
研究者提出 EnvLunch 预热训练阶段，无需人工或模型生成任务描述，直接利用可执行环境自身的交互与执行结果训练智能体。该方法通过采样有效动作轨迹并训练模型仅凭最终观察恢复等价轨迹，在各预算下游训练中平均超越基线 9 分以上。在少标注场景下，基线需 8 至 32 倍标注样本才能追平其最小预算下的准确率。
arXiv cs.AIAI 评分3434 Meta-CLIP：用于零样本疾病推理的元数据条件对比学习
研究人员提出 Meta-CLIP 框架，利用 DICOM 标头采集相似度重新加权跨模态负样本，以提升医学视觉语言预训练与零样本疾病推理表现。该方法在推理时沿用标准双编码器架构且无需输入元数据。在 CT-RATE 基准上，Meta-CLIP 较 CT-CLIP 将 macro-AUROC 提升 1.41 点，并在 5 个 CXR 基准中的 4 个取得最高 macro-AUROC，代码将公开。
arXiv cs.AIAI 评分4141 SWE-Ladder：通过渐进式特权自蒸馏学习定位、复现与修复
研究者提出 SWE-Ladder，通过将软件修复过程分解为定位、复现与修复的阶段性特权自蒸馏，并结合 GRPO 优化端到端轨迹。在 SWE-bench Verified 基准上基于 Qwen3-4B-Instruct-2507 评测，R2E-Gym 脚手架下的 pass@1 从 9.6% 提升至 16.4%，优于纯 GRPO 的 10.4% 和全补丁 OPSD 的 12.4%。
arXiv cs.AIAI 评分3939 TAD：仅凭教师轨迹蒸馏视觉-语言-动作（VLA）策略
新提出的对抗蒸馏方法 TAD 无需在线教师打分或环境奖励，仅依靠固定教师轨迹即可对 VLA 策略进行在线蒸馏。在 ManiSkill 评测中，TAD 将 7B 规模的 OpenVLA-OFT 成功率从 26.2% 提升至 76.6%，最终成功率从 20.3% 提至 58.6%。其表现仅落后白盒在线蒸馏（OPD）0.8 至 5.0 个百分点，但需消耗 OPD 5 倍的学生交互预算。
arXiv cs.AIAI 评分3434 生成式与智能体 AI 数据治理：技术、法律、经济与安全
该著作针对大语言模型、RAG 流水线至自主多智能体系统，构建了融合技术、法律与经济维度的统一数据治理框架。全书包含 11 章与 8 个附录，覆盖全生命周期的数据质量与血缘、零信任架构、六个司法管辖区的 AI 监管，以及面向 2030 年的治理控制平面设计。各章节立足印度法律与机构，并保持跨司法管辖区的比较视野。
arXiv cs.AIAI 评分3838 大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架，系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献，指出 Scaling Law 的可比性取决于数据质量与配比，RLHF 与 DPO 等偏好对齐重塑了后训练边界，且多模态训练对纯文本范式构成了结构性挑战。
arXiv cs.AIAI 评分3333 LLM 数据优化综述
一项综述研究针对 LLM 构建了数据优化综合框架，以提升模型训练与推理中的数据利用效率。论文总结了质量、难度、多样性和冗余度四个数据感知维度，将现有优化技术划分为数据选择、增强、重加权等类别并分析其内在关联。该论文已被 ACM TKDD 录用，同时指出了相关领域的关键挑战与未来研究方向。
arXiv cs.AIAI 评分3636 Isharah-Selfie：面向单手手语的连续手语识别数据集
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie，专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子，同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战，目前数据集已开放获取。
AWS Machine Learning BlogAI 评分5757 Exowatt 基于 SageMaker 无服务器微调小模型，特定任务准确率超越前沿模型
清洁能源企业 Exowatt 采用 Amazon SageMaker AI 无服务器模型微调流水线，分别针对边缘警报分流与云端能源市场分析微调 Qwen3 模型，在特定任务上的准确率超越了 Claude Opus 4.7 等前沿模型，成本最高降低 49 倍。
AWS Machine Learning BlogAI 评分5151 Amazon SageMaker AI 支持 SOCI 索引镜像加速任务启动
Amazon SageMaker AI 训练和处理任务正式支持 Seekable OCI（SOCI）索引镜像，通过延迟加载机制将容器启动时间从数分钟缩短至数秒。基准测试显示镜像拉取期间的 GPU 空闲时间最多减少 90%，且除了首轮微调有秒级加载延迟外不影响后续训练性能。开发者可直接使用带有 -soci 后缀的官方深度学习容器，或通过开源 SOCI snapshotter 对自定义镜像建立索引。
Google ResearchAI 评分5656 Google 提出用于大语言模型持续学习的睡眠框架
Google 联合康奈尔大学等提出睡眠框架，通过交替运行清醒交互与离线睡眠阶段，使大语言模型在持续学习中保留知识并避免灾难性遗忘。在离线睡眠期，模型通过 MoE 结构动态扩展低秩专家参数，结合在策略蒸馏将短期记忆转化为长期参数，并通过做梦阶段生成合成样本进行自监督提升。
arXiv cs.LGAI 评分2626 Dual-Adaptive Z-Score PPO：基于动作置信度与归一化优势幅度的动态裁剪
研究提出 Dual-Adaptive Z-Score PPO（PPO-DAZ3），基于动作置信度与归一化优势幅度为样本动态设定裁剪区间。在经典控制基准测试中，PPO-DAZ3 在 LunarLander-v3 表现最佳，平滑优势变体 PPO-AZ3S 在 Acrobot-v1 领先，标准 PPO 则在 CartPole-v1 保持竞争力，表明自适应裁剪对高难度任务收益更显著。
arXiv cs.LGAI 评分3333 曲率感知裁剪：利用近似二阶信息缓解 DPSGD 偏差
CA-DPSGD 框架通过利用近似二阶信息构建曲率感知裁剪空间，旨在缓解差分隐私随机梯度下降（DPSGD）中因裁剪偏差导致的几何不对齐问题。该框架集成了曲率矩阵校正估计器，并结合各向异性噪声机制以提供严格的隐私保障。实证实验表明，该方法在模型效用上优于现有的前沿梯度裁剪方法。
arXiv cs.LGAI 评分3535 稀疏性驱动多任务神经网络涌现功能模块化
稀疏诱导正则化无需预定义模块边界，即可驱动多任务神经网络自发涌现功能模块化。研究人员在多层感知机和轻量级 Transformer 中识别出被称为 functional tokens 的紧凑任务选择性子网络，发现专用化优先在深层形成，浅层则保留共享计算。这些 functional tokens 无需重新训练即可重新组合，直接重构复合计算。
arXiv cs.LGAI 评分3838 重新思考 LoRA 初始化：实现鲁棒的非对称学习率
针对 LoRA+ 采用非对称学习率易导致训练不稳定和性能崩溃的问题，研究提出了新型初始化方法 initAA。该方法将矩阵 A 的方差缩放为 $\sigma_A^2 \propto n^{-2}$ 并保持 $B_0=0$，使初始化噪声能量额外降低 $1/n$ 倍，同时保持适配器初始输出为零。
arXiv cs.LGAI 评分3838 超越数据调度：基于损失重加权的 LLM 混合数据快速预训练
研究者提出 LARE 方法，通过运行损失统计自动调整领域权重，在固定数据采样暴露量下优化 LLM 混合数据预训练。在 240B tokens 训练的 1.5B 模型上，该方法使知识、数学和代码领域的 5 项评测基准较直接混合平均提升 +7.84 pp，其中 GSM8K 和 MATH 分别提高 +17.06 pp 与 +9.00 pp。
arXiv cs.LGAI 评分3838 PRISM：利用隐式随机调制提升大语言模型采样多样性
研究者提出训练期框架 PRISM，通过次模筛选多教师解和特殊 token 的随机嵌入调制，将采样多样性内化为大语言模型自身的能力。在 WritingPrompts 与 BookMIA 评测中，PRISM 在两个开源模型族上取得最佳生成质量与顶尖语义多样性，并提升了数学与代码基准的采样效率。此外，该框架还能在强化学习训练中维持多样的 rollout，有效缓解多样性崩塌。
arXiv cs.LGAI 评分2929 REDAR：面向类增量学习的强化驱动自适应正则化方法
新研究提出 REDAR 方法，将类增量学习（CIL）中的正则化强度选择建模为序列决策问题，由轻量级 RL 智能体动态输出每个阶段的知识蒸馏系数。该策略完全在初始阶段构建的伪任务上训练，部署到增量序列时无需访问历史数据。在 CIFAR-100 和 Tiny-ImageNet 上的实验表明，REDAR 相比固定基线有效减少了遗忘并提升了前向迁移性能。
arXiv cs.LGAI 评分3737 一致性而非归一化维持循环语言模型的深度可复用性
研究表明，维持循环语言模型深度可复用性的是训练与运行循环的一致性，而非循环步之间的状态归一化。测试显示，直接从已发布的 Ouro-1.4B 与 Ouro-2.6B 移除归一化会导致二分类准确率降为 0（状态范数维持在 2.021 倍内），但在从头训练的 19M 模型中无归一化训练的外推能力更优（Cliff's delta 达 0.867）。
arXiv cs.LGAI 评分3636 课程学习的有效性取决于奖励稀疏度与竞争最优
研究表明强化学习中课程学习的有效性取决于奖励稀疏度与竞争最优解：密集奖励下课程收益微弱，而在稀疏奖励下课程学习常是模型完成策略学习的必要条件。通过对基于 REINFORCE 的策略学习模型分析，有效课程能降低奖励稀疏度以加速训练，并通过塑造奖励景观引导智能体避开不良局部最优。
arXiv cs.LGAI 评分4242 算力与数据约束下的合成数据改写缩放定律
新提出的合成数据改写缩放定律将改写算力计入成本，可预测模型大小、训练 tokens 及改写数据比例对模型损失的影响。在算力受限下，最佳改写比例随算力提升从不足 10% 增至 32%，外推训练的 22B 模型以改写器十分之一算力取得更优 BPB。在数据受限场景下，同尺寸改写器训练出的模型在 3B 及以下规模均优于纯自然数据。
arXiv cs.LGAI 评分3333 大语言模型的人类反馈对齐：数学基础与算法设计
该综述系统梳理了大语言模型与人类偏好对齐的数学基础和算法框架，涵盖监督微调（SFT）、RLHF 以及 DPO 等主流对齐技术。文章探讨了从人类偏好中学习的理论底层，建立了其与逆强化学习（IRL）和离散选择模型的联系，并详细分析了前沿算法的优缺点及实际落地实现要点。
arXiv cs.LGAI 评分3535 Cautious ConFIG：谨慎无冲突逆梯度方法
研究者提出 Cautious ConFIG 算法，通过三行代码扩展恢复与自适应优化器结合时的无冲突梯度保证，解决物理信息神经网络（PINN）训练中的梯度冲突问题。在 1D 粘性 Burgers 方程、1D 非线性薛定谔方程和 2D Kovasznay 流三个 PINN 基准测试中，该方法性能一致优于标准 ConFIG 基线，相关代码已开源。
arXiv cs.LGAI 评分3838 Nestor 嵌套稀疏架构：面向可扩展预训练与持续学习
研究者提出名为 Nestor 的 Transformer 架构，通过将条件计算机制扩展至注意力算子并与 MoE 分层嵌套，在同等算力和稀疏度下的语言模型预训练表现优于传统 MoE。Nestor 还适用于持续预训练，能更高效扩展至长上下文并适应新领域，同时显著减少对旧领域的遗忘。目前该研究的代码与模型权重已在 GitHub 开源。
arXiv cs.LGAI 评分2828 面向联邦遗忘学习的客户端选择框架 PDF：保留客户端并非同等重要
针对联邦遗忘学习，研究人员提出路径依赖客户端选择框架 PDF，通过仅挑选与目标弱耦合的 top-k 保留客户端参与少量轮次重训来消除目标影响。在 non-IID CIFAR-10 实验中，PDF 实现了 0% 遗忘准确率；相比从头重训，该方法减少了约 69% 通信量与 57%–61% 计算量，并在 CIFAR-100 上将保留准确率提升最高达 6.91 个百分点。
arXiv cs.LGAI 评分4343 Muon 何时及如何进行预处理？结构化梯度噪声的作用
研究揭示了 Muon 优化器在大语言模型训练中的预处理机制，指出其加速优势源于非均匀采样下的结构化梯度噪声，而非传统各向同性噪声。理论表明 Muon 能将对任务频率的依赖从线性降至平方根，有效平衡高频与稀疏任务，并避免 SignSGD 的旋转诱导负迁移。受控数值实验与初步 LLM 预训练进一步展现了快慢动量（fast-slow momentum）的应用潜力。
arXiv stat.MLAI 评分3737 基于路由集成与轨迹归因的多目标强化学习
研究提出基于路由集成与轨迹归因的多目标强化学习方法，以解决多目标冲突导致的策略学习样本效率低问题。该方法通过动态路由轨迹至高潜能基策略，在 Meta-World 和 MO-Gymnasium 在线环境下较基准提升 4.3% 的平均性能。其设计的核代理轨迹归因算法可捕捉轨迹间的非线性交互，在轨迹选择任务中较基线归因方法实现 27% 的奖励提升。
arXiv stat.MLAI 评分3535 面向 Bayesian LoRA 的先验预测匹配
研究人员提出针对 Bayesian LoRA 的闭式先验预测匹配估计器，可在微调前直接确定低秩权重更新的先验超参数。理论证明最优先验精度与秩 $r$ 呈 $r^{-1/2}$ 缩放关系，单次估计即可在所有 rank 间泛化。在 RoBERTa-large 上，该方法无需验证数据即可改善预测 NLL 与模型校准度，并展现出具有竞争力的分布外检测能力。
arXiv stat.MLAI 评分3636 机器遗忘应以风险感知的输出控制为核心
针对偏见、毒性、模型幻觉和敏感信息泄露等缺陷，机器遗忘（Machine Unlearning）应优先聚焦具备统计保证的输出空间控制，而非参数空间的相似性。现有追求与从头重训模型参数不可区分的目标脱离实际，而输出控制能提供严谨鲁棒的目标与可解释保证，并可扩展至现代部署场景。该观点已获得实证证据与理论结果的支持。
arXiv stat.MLAI 评分4747 Scaling Law 估计中的罗生门效应与拟合挑战
神经网络 Scaling Law 的常规拟合存在罗生门效应，即截然不同的参数设置虽然在既有数据上拟合度接近，但在大规模外推时预测结果会出现实质性分歧。研究提出了一种确定性分支定界算法，不仅能保证获得近最优的拟合损失，还能穷举映射出所有近似最优解所对应的完整缩放曲线范围。
arXiv stat.MLAI 评分3333 函数型数据的合成数据增强：Wasserstein 风险界与基于扩散模型的条件生成
针对采集成本高昂的函数型数据，研究提出基于类别条件函数扩散模型的合成数据增强方法，并在 Wasserstein-1 距离下给出了理论风险界。理论推导出了最优合成曲线数量与合成数据超越真实数据的条件，同时界定了类别不平衡下的超额风险。在温度、高光谱和步态曲线实验中，该方法提升了分类与函数回归表现，向少数类补充样本收益最高。
arXiv stat.MLAI 评分3535 表征形成的信息几何学
研究提出将神经网络表征学习视为几何轨迹，利用 Bures 几何与量子 Fisher 信息量化内部结构的动态形成过程。实验发现计算所需的输入交互阶数越高轨迹越曲折，且路径曲折度能准确预测表征在持续训练中的漂移与参数微扰敏感性。此外，该形成几何还能通过表征感知优化进行主动干预与塑造。
arXiv stat.MLAI 评分2727 联合稀疏样本加权与参数估计的非凸框架
研究人员提出 SWAPE 框架，通过联合优化模型参数与样本权重，在训练模型的同时为每个训练样本分配独立权重。该框架兼容凸、弱凸和差凸等多种损失函数，并采用基于 majorize-minimize 技术的交替最小化算法求解且保证算法收敛。多项学习任务与数据异常实验表明，该方法相比基准方法能更有效降低不良数据点的影响。
arXiv stat.MLAI 评分3636 标签噪声下早停何时有益？核梯度流的相图分析
新研究通过核梯度流推导高维学习曲线与相图，表明即便存在大量不可约标签噪声，模型插值表现仍可优于早停。CIFAR10 实验显示，浅层模型后期测试误差会恶化，但更大更深的卷积网络在拟合全部随机标签后早停需求基本消失。理论分析表明，学习共享关系的线性核与拟合噪声的高阶核之间的平衡，决定了早停是否必要及插值能否达到最优泛化。
arXiv stat.MLAI 评分2727 受限参与下的 Hessian 相似性优化：下界与虚拟主节点
针对每轮最多联系 $m$ 个客户端中 $s$ 个的受限参与 Hessian 相似性优化，研究推导出了零保持局部算法在强凸二次函数上的轮数下界 $\Omega((m/s)\sqrt{\min\{\delta_a,\bar\delta/\sqrt m\}/\mu}\,\log(1/\epsilon))$。
arXiv stat.MLAI 评分3131 高保真联邦表格数据合成框架 FITS
研究者提出联邦表格数据合成框架 FITS，针对联邦学习场景下的混合类型表格数据解决分布保真度与混合变量处理难题。该框架核心是基于局部线性回归估计条件累积分布函数（CDF）的两步联邦算法，并通过连续化方法在密度函数与 CDF 层面无损恢复离散分布。实验表明，FITS 生成的合成数据能够提升所有客户端的下游任务表现。
arXiv stat.MLAI 评分3434 深度线性网络中增加深度可改善困难任务的训练时间缩放
最新理论研究通过对深度线性网络的分析表明，任务谱决定了网络深度对训练时间缩放的影响，增加深度能提升谱困难任务的渐进训练时间缩放指数，而简单任务的指数与深度无关。研究进一步提出由预测器范数主导的时间重参数化，可统一描述不同难度下的动态，且重参数化后的损失缩放指数与深度无关。基于基准图像数据和非线性网络的数值实验也呈现了一致的定性结果。
arXiv stat.MLAI 评分2828 超越 Wasserstein 邻近度：寻找更优的迁移源
新研究提出超越 Wasserstein 邻近度的迁移源选择方法，表明更宽的源变异性有助于提升迁移效果。