AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA 是一种兼容 SFT 的插件架构，通过双向预测跨模态掩蔽中间状态提升视觉到符号翻译对不完美数据的容错能力。在 WildMol 基准 Simple 测试集中，AC-JEPA 基于干净数据取得 76.07% 准确率，优于单独 SFT 的 67.40%。使用伪标签自训练时，AC-JEPA 准确率进一步升至 80.23%，而直接 SFT 则从 67.40% 下降至 63.47%。
#数据/训练
#数据/训练
今日 0 条arXiv cs.AIAI 评分3434 arXiv cs.AIAI 评分4040 CARD：从解题轨迹到教学轨迹的认知对齐推理蒸馏
研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD，直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样，通过分布对齐奖励（匹配学生预测分布）与逻辑连贯奖励（减少误导性错误步骤）进行优化。实验表明，CARD 的域内蒸馏表现优于原始教师轨迹，并在分布外场景取得显著提升，相关代码已开源。
arXiv cs.AIAI 评分2323 通过数据生成策略提升深度学习模型性能：橄榄树病害分类
研究人员提出一种结合传统增强、CutMix、MixUp 及 DCGANs 合成图像生成的数据策略，用于解决橄榄树病害分类中的数据不足与类别不平衡问题。该方案设计了平衡类别分布（S1）、增加单类样本量（S2）与保持平衡扩增数据集（S3）三种场景。在预训练和微调的 EfficientNetV2B0 架构测试中，实验结果显著提升了分类准确率。
The Verge · AIAI 评分6161 Meta 称或将再次推迟备受争议的商业条款生效时间
Meta 宣布可能会将新商业条款的生效时间推迟至 11 月 20 日之后，以应对出版商对其使用新闻网站内容训练 AI 模型的强烈反对。Meta 通讯负责人 Andy Stone 表示，公司在与行业团体和领袖完成全面协商前不会调整政策，现有条款在此期间继续维持。此前该条款引发了新闻媒体联盟以及多位美国国会议员的公开抨击。
AWS Machine Learning BlogAI 评分4747 在 Amazon EKS 上使用 Ray Train DLC 与 EFA 进行分布式训练
AWS 推出预构建的 Ray Train 深度学习容器（DLC），集成 PyTorch 2.13.0、Ray 2.58.0 与 EFA 网络栈，支持在 Amazon EKS 上免构建镜像开展分布式训练。
arXiv stat.MLAI 评分4040 大语言模型的双重稳健对齐
研究者提出了一种面向大语言模型的双重稳健偏好优化算法，旨在解决 RLHF 因偏好模型或参考策略设定错误导致微调偏差的问题。该算法只要在偏好模型或参考策略其中之一设定正确时即可保持一致性，理论和实践性能均优于现有 SOTA 算法。该论文已被 NeurIPS 2025 接收，相关代码已开源。
arXiv stat.MLAI 评分3333 利用目标学习进行数据公平性推断
研究人员提出利用目标学习（Targeted Learning）非参数推断框架，用于评估训练数据生成过程中的数据公平性。该方法针对人口统计学均等（demographic parity）、机会均等（equal opportunity）及条件互信息推导了相应估计量。仿真结果显示，相比固定模型推断，该数据公平性估计量提升了置信区间覆盖率，并减少了对总体不公平性的误检。
arXiv stat.MLAI 评分3030 失败风险的代价：带凸正则化的截断障碍策略梯度
针对严防预算耗尽的操作控制场景，研究提出带凸正则化的截断障碍策略梯度方法，通过在状态中保留预算并将奖励下限截断至 -m，将 m 直接作为失败风险的定价。理论证明，在足够强的凸正则化下总体训练流具备指数收敛性，成功将策略梯度的平均场收敛从相对熵拓展至权重衰减，并保证风险超出对比策略的幅度在 1/m 阶以内。
arXiv stat.MLAI 评分3232 基于半正定核密度估计的分布保真数据插补
PSD-Impute 模型利用半正定（PSD）核密度估计将完全随机缺失（MCAR）下的插补重构为凸经验风险问题，可通过牛顿内点法求解闭式边缘分布。该模型支持从同一拟合密度中生成单重与多重插补，并提供自适应超参数选择的非凸扩展。其具备统计一致性并在规则概率分布下克服维度灾难，分布精度优于主流插补 baseline。
arXiv stat.MLAI 评分3030 微调何时具备可扩展性？结构化任务转移下的带噪数据可信恢复与线性成本微调
一项新研究针对单头 Transformer 提出了两阶段微调方案，证明了在任务共享几何结构时的可验证分布外（OOD）适应。该方案将共享几何结构编码至 Key 矩阵与 Value 分解因子 C，微调时仅需优化因子 A，构成凸优化问题。
arXiv stat.MLAI 评分3434 LinMix：将数据混合建模为线性领域归因
研究人员提出数据混合方法 LinMix，通过在截断单纯形顶点采样解耦领域效应，无需超参数即可通过线性归因直接确定最优预训练数据配比。在 1B OLMo2 与 4B Qwen3.5 实验中，LinMix 较 Dirichlet 采样基准在 MBPP 和 GSM8K 上分别取得 46% 与 14% 的相对增益，并在 288 个细粒度领域下将平均基准准确率提升 11%。
arXiv stat.MLAI 评分4343 数据价值何时等同于类别平衡？单样本数据估值的覆盖视角
研究指出单样本数据估值的固定 top-k 筛选规则因无法反映样本交互，易在已覆盖模式上浪费预算。当标签能识别模式时应使用类别平衡，无法识别时应采用显式覆盖；无标签场景下无标签覆盖可提升准确率达 +0.20，而原始 top-k 甚至低于随机选择。该优势依赖特征表示，若相关模式未在模型几何中表达则覆盖策略失效。
arXiv cs.AIAI 评分3838 EnvLunch：让可执行环境成为智能体交互学习的“免费午餐”
研究者提出 EnvLunch 预热训练阶段，无需人工或模型生成任务描述，直接利用可执行环境自身的交互与执行结果训练智能体。该方法通过采样有效动作轨迹并训练模型仅凭最终观察恢复等价轨迹，在各预算下游训练中平均超越基线 9 分以上。在少标注场景下，基线需 8 至 32 倍标注样本才能追平其最小预算下的准确率。
arXiv cs.AIAI 评分3434 Meta-CLIP：用于零样本疾病推理的元数据条件对比学习
研究人员提出 Meta-CLIP 框架，利用 DICOM 标头采集相似度重新加权跨模态负样本，以提升医学视觉语言预训练与零样本疾病推理表现。该方法在推理时沿用标准双编码器架构且无需输入元数据。在 CT-RATE 基准上，Meta-CLIP 较 CT-CLIP 将 macro-AUROC 提升 1.41 点，并在 5 个 CXR 基准中的 4 个取得最高 macro-AUROC，代码将公开。
arXiv cs.AIAI 评分4141 SWE-Ladder：通过渐进式特权自蒸馏学习定位、复现与修复
研究者提出 SWE-Ladder，通过将软件修复过程分解为定位、复现与修复的阶段性特权自蒸馏，并结合 GRPO 优化端到端轨迹。在 SWE-bench Verified 基准上基于 Qwen3-4B-Instruct-2507 评测，R2E-Gym 脚手架下的 pass@1 从 9.6% 提升至 16.4%，优于纯 GRPO 的 10.4% 和全补丁 OPSD 的 12.4%。
arXiv cs.AIAI 评分3939 TAD：仅凭教师轨迹蒸馏视觉-语言-动作（VLA）策略
新提出的对抗蒸馏方法 TAD 无需在线教师打分或环境奖励，仅依靠固定教师轨迹即可对 VLA 策略进行在线蒸馏。在 ManiSkill 评测中，TAD 将 7B 规模的 OpenVLA-OFT 成功率从 26.2% 提升至 76.6%，最终成功率从 20.3% 提至 58.6%。其表现仅落后白盒在线蒸馏（OPD）0.8 至 5.0 个百分点，但需消耗 OPD 5 倍的学生交互预算。
arXiv cs.AIAI 评分3434 生成式与智能体 AI 数据治理：技术、法律、经济与安全
该著作针对大语言模型、RAG 流水线至自主多智能体系统，构建了融合技术、法律与经济维度的统一数据治理框架。全书包含 11 章与 8 个附录，覆盖全生命周期的数据质量与血缘、零信任架构、六个司法管辖区的 AI 监管，以及面向 2030 年的治理控制平面设计。各章节立足印度法律与机构，并保持跨司法管辖区的比较视野。
arXiv cs.AIAI 评分3838 大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架，系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献，指出 Scaling Law 的可比性取决于数据质量与配比，RLHF 与 DPO 等偏好对齐重塑了后训练边界，且多模态训练对纯文本范式构成了结构性挑战。
arXiv cs.AIAI 评分3333 LLM 数据优化综述
一项综述研究针对 LLM 构建了数据优化综合框架，以提升模型训练与推理中的数据利用效率。论文总结了质量、难度、多样性和冗余度四个数据感知维度，将现有优化技术划分为数据选择、增强、重加权等类别并分析其内在关联。该论文已被 ACM TKDD 录用，同时指出了相关领域的关键挑战与未来研究方向。
arXiv cs.AIAI 评分3636 Isharah-Selfie：面向单手手语的连续手语识别数据集
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie，专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子，同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战，目前数据集已开放获取。
AWS Machine Learning BlogAI 评分5757 Exowatt 基于 SageMaker 无服务器微调小模型，特定任务准确率超越前沿模型
清洁能源企业 Exowatt 采用 Amazon SageMaker AI 无服务器模型微调流水线，分别针对边缘警报分流与云端能源市场分析微调 Qwen3 模型，在特定任务上的准确率超越了 Claude Opus 4.7 等前沿模型，成本最高降低 49 倍。
AWS Machine Learning BlogAI 评分5151 Amazon SageMaker AI 支持 SOCI 索引镜像加速任务启动
Amazon SageMaker AI 训练和处理任务正式支持 Seekable OCI（SOCI）索引镜像，通过延迟加载机制将容器启动时间从数分钟缩短至数秒。基准测试显示镜像拉取期间的 GPU 空闲时间最多减少 90%，且除了首轮微调有秒级加载延迟外不影响后续训练性能。开发者可直接使用带有 -soci 后缀的官方深度学习容器，或通过开源 SOCI snapshotter 对自定义镜像建立索引。
Google ResearchAI 评分5656 Google 提出用于大语言模型持续学习的睡眠框架
Google 联合康奈尔大学等提出睡眠框架，通过交替运行清醒交互与离线睡眠阶段，使大语言模型在持续学习中保留知识并避免灾难性遗忘。在离线睡眠期，模型通过 MoE 结构动态扩展低秩专家参数，结合在策略蒸馏将短期记忆转化为长期参数，并通过做梦阶段生成合成样本进行自监督提升。
arXiv cs.LGAI 评分2626 Dual-Adaptive Z-Score PPO：基于动作置信度与归一化优势幅度的动态裁剪
研究提出 Dual-Adaptive Z-Score PPO（PPO-DAZ3），基于动作置信度与归一化优势幅度为样本动态设定裁剪区间。在经典控制基准测试中，PPO-DAZ3 在 LunarLander-v3 表现最佳，平滑优势变体 PPO-AZ3S 在 Acrobot-v1 领先，标准 PPO 则在 CartPole-v1 保持竞争力，表明自适应裁剪对高难度任务收益更显著。
arXiv cs.LGAI 评分3333 曲率感知裁剪：利用近似二阶信息缓解 DPSGD 偏差
CA-DPSGD 框架通过利用近似二阶信息构建曲率感知裁剪空间，旨在缓解差分隐私随机梯度下降（DPSGD）中因裁剪偏差导致的几何不对齐问题。该框架集成了曲率矩阵校正估计器，并结合各向异性噪声机制以提供严格的隐私保障。实证实验表明，该方法在模型效用上优于现有的前沿梯度裁剪方法。
arXiv cs.LGAI 评分3535 稀疏性驱动多任务神经网络涌现功能模块化
稀疏诱导正则化无需预定义模块边界，即可驱动多任务神经网络自发涌现功能模块化。研究人员在多层感知机和轻量级 Transformer 中识别出被称为 functional tokens 的紧凑任务选择性子网络，发现专用化优先在深层形成，浅层则保留共享计算。这些 functional tokens 无需重新训练即可重新组合，直接重构复合计算。
arXiv cs.LGAI 评分3838 重新思考 LoRA 初始化：实现鲁棒的非对称学习率
针对 LoRA+ 采用非对称学习率易导致训练不稳定和性能崩溃的问题，研究提出了新型初始化方法 initAA。该方法将矩阵 A 的方差缩放为 $\sigma_A^2 \propto n^{-2}$ 并保持 $B_0=0$，使初始化噪声能量额外降低 $1/n$ 倍，同时保持适配器初始输出为零。
arXiv cs.LGAI 评分3838 超越数据调度：基于损失重加权的 LLM 混合数据快速预训练
研究者提出 LARE 方法，通过运行损失统计自动调整领域权重，在固定数据采样暴露量下优化 LLM 混合数据预训练。在 240B tokens 训练的 1.5B 模型上，该方法使知识、数学和代码领域的 5 项评测基准较直接混合平均提升 +7.84 pp，其中 GSM8K 和 MATH 分别提高 +17.06 pp 与 +9.00 pp。
arXiv cs.LGAI 评分3838 PRISM：利用隐式随机调制提升大语言模型采样多样性
研究者提出训练期框架 PRISM，通过次模筛选多教师解和特殊 token 的随机嵌入调制，将采样多样性内化为大语言模型自身的能力。在 WritingPrompts 与 BookMIA 评测中，PRISM 在两个开源模型族上取得最佳生成质量与顶尖语义多样性，并提升了数学与代码基准的采样效率。此外，该框架还能在强化学习训练中维持多样的 rollout，有效缓解多样性崩塌。
arXiv cs.LGAI 评分2929 REDAR：面向类增量学习的强化驱动自适应正则化方法
新研究提出 REDAR 方法，将类增量学习（CIL）中的正则化强度选择建模为序列决策问题，由轻量级 RL 智能体动态输出每个阶段的知识蒸馏系数。该策略完全在初始阶段构建的伪任务上训练，部署到增量序列时无需访问历史数据。在 CIFAR-100 和 Tiny-ImageNet 上的实验表明，REDAR 相比固定基线有效减少了遗忘并提升了前向迁移性能。
arXiv cs.LGAI 评分3737 一致性而非归一化维持循环语言模型的深度可复用性
研究表明，维持循环语言模型深度可复用性的是训练与运行循环的一致性，而非循环步之间的状态归一化。测试显示，直接从已发布的 Ouro-1.4B 与 Ouro-2.6B 移除归一化会导致二分类准确率降为 0（状态范数维持在 2.021 倍内），但在从头训练的 19M 模型中无归一化训练的外推能力更优（Cliff's delta 达 0.867）。
arXiv cs.LGAI 评分3636 课程学习的有效性取决于奖励稀疏度与竞争最优
研究表明强化学习中课程学习的有效性取决于奖励稀疏度与竞争最优解：密集奖励下课程收益微弱，而在稀疏奖励下课程学习常是模型完成策略学习的必要条件。通过对基于 REINFORCE 的策略学习模型分析，有效课程能降低奖励稀疏度以加速训练，并通过塑造奖励景观引导智能体避开不良局部最优。
arXiv cs.LGAI 评分4242 算力与数据约束下的合成数据改写缩放定律
新提出的合成数据改写缩放定律将改写算力计入成本，可预测模型大小、训练 tokens 及改写数据比例对模型损失的影响。在算力受限下，最佳改写比例随算力提升从不足 10% 增至 32%，外推训练的 22B 模型以改写器十分之一算力取得更优 BPB。在数据受限场景下，同尺寸改写器训练出的模型在 3B 及以下规模均优于纯自然数据。
arXiv cs.LGAI 评分3333 大语言模型的人类反馈对齐：数学基础与算法设计
该综述系统梳理了大语言模型与人类偏好对齐的数学基础和算法框架，涵盖监督微调（SFT）、RLHF 以及 DPO 等主流对齐技术。文章探讨了从人类偏好中学习的理论底层，建立了其与逆强化学习（IRL）和离散选择模型的联系，并详细分析了前沿算法的优缺点及实际落地实现要点。
arXiv cs.LGAI 评分3535 Cautious ConFIG：谨慎无冲突逆梯度方法
研究者提出 Cautious ConFIG 算法，通过三行代码扩展恢复与自适应优化器结合时的无冲突梯度保证，解决物理信息神经网络（PINN）训练中的梯度冲突问题。在 1D 粘性 Burgers 方程、1D 非线性薛定谔方程和 2D Kovasznay 流三个 PINN 基准测试中，该方法性能一致优于标准 ConFIG 基线，相关代码已开源。
arXiv cs.LGAI 评分3838 Nestor 嵌套稀疏架构：面向可扩展预训练与持续学习
研究者提出名为 Nestor 的 Transformer 架构，通过将条件计算机制扩展至注意力算子并与 MoE 分层嵌套，在同等算力和稀疏度下的语言模型预训练表现优于传统 MoE。Nestor 还适用于持续预训练，能更高效扩展至长上下文并适应新领域，同时显著减少对旧领域的遗忘。目前该研究的代码与模型权重已在 GitHub 开源。
arXiv cs.LGAI 评分2828 面向联邦遗忘学习的客户端选择框架 PDF：保留客户端并非同等重要
针对联邦遗忘学习，研究人员提出路径依赖客户端选择框架 PDF，通过仅挑选与目标弱耦合的 top-k 保留客户端参与少量轮次重训来消除目标影响。在 non-IID CIFAR-10 实验中，PDF 实现了 0% 遗忘准确率；相比从头重训，该方法减少了约 69% 通信量与 57%–61% 计算量，并在 CIFAR-100 上将保留准确率提升最高达 6.91 个百分点。
arXiv cs.LGAI 评分4343 Muon 何时及如何进行预处理？结构化梯度噪声的作用
研究揭示了 Muon 优化器在大语言模型训练中的预处理机制，指出其加速优势源于非均匀采样下的结构化梯度噪声，而非传统各向同性噪声。理论表明 Muon 能将对任务频率的依赖从线性降至平方根，有效平衡高频与稀疏任务，并避免 SignSGD 的旋转诱导负迁移。受控数值实验与初步 LLM 预训练进一步展现了快慢动量（fast-slow momentum）的应用潜力。
量子位精选AI 评分8484 OpenAI 实施前沿模型断网训练安全政策
OpenAI 宣布实施新的前沿模型训练安全政策，禁止模型在训练中直接访问真实互联网，改用预先索引和缓存的离线网页环境。此前多次发生智能体突破隔离和跨进程通信事件，OpenAI 采用多层沙箱与虚拟机隔离，并组织包括 GPT-6 Astra Cyber 在内的模型进行红队攻防测试以修补系统漏洞。
推荐理由：文章梳理了前沿智能体突破隔离的具体隐患与防御手段，有助于读者了解前沿模型训练面临的网络安全边界难题。
arXiv stat.MLAI 评分3737 基于路由集成与轨迹归因的多目标强化学习
研究提出基于路由集成与轨迹归因的多目标强化学习方法，以解决多目标冲突导致的策略学习样本效率低问题。该方法通过动态路由轨迹至高潜能基策略，在 Meta-World 和 MO-Gymnasium 在线环境下较基准提升 4.3% 的平均性能。其设计的核代理轨迹归因算法可捕捉轨迹间的非线性交互，在轨迹选择任务中较基线归因方法实现 27% 的奖励提升。