OpenAI 宣布将遵循通用 robots.txt 信号以表达网站 AI 训练偏好
OpenAI 宣布将遵循通用的 robots.txt 信号，以协助网站运营者向所有参与该机制的服务商统一传达 AI 训练偏好。
推荐理由：网站运营者可借此了解通用的网页控制规范，评估如何更便捷地统一管理各服务商的训练数据采集。
#数据/训练
#数据/训练
今日 0 条OpenAI News精选AI 评分6161 Ars Technica · AIAI 评分3434 AI 归档需求激增，Fujifilm 拟将磁带产量提升 5 倍
受 AI 推动的归档需求影响，Fujifilm 计划将磁带产量提升 5 倍。凭借低成本与离线安全性优势，磁带存储在当前数据环境下依然发挥着不可替代的作用。
arXiv cs.LGAI 评分4444 Multi-Token Prediction 的正确实现方式
研究人员针对多 Token 预测（MTP）训练中的梯度干扰缺陷，提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号，无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下，Soft-MTP 带来了更低的困惑度和更快的投机解码，并在 1.2B 微调后提升了数学与代码推理能力。
arXiv cs.LGAI 评分4545 量化在语言模型预训练损失激增中的作用
大语言模型预训练后期的致命损失激增（time-bomb spikes）由 LM head 中快速增长的量化误差引发，降低数值精度会加速该不稳定现象。在 LM head 上将 AdamW 优化器替换为带动量的 SGD，可有效抑制 logit 增长，进而通过减少有限精度误差显著提升长周期预训练的稳定性。
arXiv cs.LGAI 评分4747 ParaTTT：实现深层记忆测试时训练（TTT）层的并行化
研究人员提出 ParaTTT（PTTT）算法，通过迭代优化内循环梯度轨迹，实现了任意深度非线性记忆测试时训练（TTT）层的并行化。在 4K context 下经过两次迭代，其内循环轨迹评估速度比 TTT-MLP 快 32x，340M 模型整体训练提速 4.9x。在 340M 和 1.3B 规模下，其模型表现匹配或超越 Gated DeltaNet 及 Mamba-2，且召回能力更优。
arXiv cs.LGAI 评分3636 HotPOT：面向大规模 PDE 预训练的异构物理专家算子 Transformer
HotPOT 是一种面向大规模 PDE 预训练的算子 Transformer，采用共享编码器结合异构神经-数值专家来建模方程演化。在 5 个 PDE 族和 6 种设定下，HotPOT 在微调前后的全部 24 组同规模对比中均优于 MoE-POT，rollout 误差平均降低 50.7%。其 17M 模型超越了更大规模的 MoE-POT，且性能优势可延伸至未见物理条件下的零样本预测。
arXiv cs.LGAI 评分2828 用于缓解不可学习数据集的梯度对抗增强框架
研究提出一种基于梯度的对抗增强框架，通过随机梯度上升学习增强策略，迫使深度神经网络在不可学习数据（ULD）保护的图像上重新学习可泛化特征。该框架利用可微数据增强流程在多达 18 种技术中高效搜索子集以最大化替代模型分类损失，并结合感知与像素正则化保留图像语义。
arXiv cs.LGAI 评分3030 数据量异质性可提升神经影像联邦学习性能
在基于结构 MRI 分类阿尔茨海默病等神经影像任务中，由数据量异质站点（1 个大站点加小站点）组成的联邦学习表现优于同质联邦，在低数据量机制下尤为显著。引入大站点通常能实现更快的收敛速度与更高的最终准确率，性能接近集中式训练，并能更好地利用 ENIGMA 等大型联盟中普遍存在的小数据量站点。
arXiv cs.LGAI 评分3535 B2P-Corr：用于不可分解相关性损失的 Batch-to-Population 梯度估计器
针对 PCC 与 CCC 等不可分解相关性指标在 mini-batch 优化中的梯度偏差，B2P-Corr 框架利用轻量全局矩草图将目标转化为可分解伪损失。该框架提出计算复杂度为 $O(B)$ 的 B2P-EMA 与 B2P-U 两个变体，分别采用指数移动平均与跨批次 U-统计量实现渐进梯度跟踪。在 2 个合成与 3 个真实数据集上的实验表明，该方法以极低开销实现了更稳定的优化与更高相关性。
arXiv cs.LGAI 评分2929 在不同 $\varepsilon$ 下重放相同梯度：针对 Adam $\varepsilon$ 固定轨迹解释的预注册检验
一项针对小型因果 Transformer 的预注册研究通过在不同 $\varepsilon$ 下重放相同梯度，直接检验了 Adam 优化器中 $\varepsilon$ 对罕见 token 嵌入行的固定轨迹解释。
arXiv cs.LGAI 评分3333 MASS：面向防泄漏推理的多掩码选择性自蒸馏
研究提出多掩码选择性自蒸馏方法 MASS，用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布，聚合互补的教师预测并自适应聚焦关键跨度，选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上，MASS 的性能持续优于强自蒸馏基线。
arXiv cs.LGAI 评分3434 地震基础模型是否只是美化版的特征提取器？
研究表明当前地震基础模型本质上仍是特征提取器，改变自监督目标只会重新分配下游技能而非全面提升性能。团队基于 Mamba 架构与 3M 窗口数据测试了 9 种模型设计，发现增加掩码压力虽使少样本 P 波拾取精度提升 6.9 点，却导致少样本分类准确率下降 9.6 点。研究指出其核心瓶颈在于单一窗口目标无法覆盖跨事件的长时间尺度。
arXiv cs.LGAI 评分3737 序列微调中如何保持模型安全：重放机制的析因与几何分析
针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明，Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上，监督重放虽使 HarmBench 攻击成功率降低 51.1 分，但导致过度拒绝激增 53.4 分；Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。
arXiv cs.LGAI 评分3434 探究 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
一项研究表明，Transformer 与 MLP 在处理噪声 k-parity 特征时表现出截然相反的归纳偏置：Transformer 对噪声特征更具鲁棒性但难以学习复杂的低可用性特征，MLP 则相反且能随数据增加稳步提升。在固定训练预算下，增加训练样本数量会显著减缓 Transformer 的优化速度并降低最终准确率，导致较小数据集的表现反倒更优。
arXiv cs.LGAI 评分3535 Bi-Phase Training：高效从零预训练
研究团队提出参数高效预训练方法 Bi-Phase Training（BPT），能在显著减少可训练参数的同时保持全参数优化的高秩动态。在基于 FineWeb-Edu（10B 和 100B tokens）从零预训练 Qwen2.5（100M 至 1.5B）与 OLMo-2-1B 时，BPT 在 1.5B 规模下减少了 66% 可训练参数，取得接近全参数基线的验证困惑度与下游任务表现。
arXiv cs.LGAI 评分4141 Muon 使首个 MoE 层更难实现负载均衡
研究发现在 55M 和 108M 激活参数的 MoE 模型中，Muon 优化器会使首个 MoE 层的路由偏置跨度平均翻倍，导致预热后最繁忙专家的负载达到公平份额的 4 到 7 倍。
arXiv cs.LGAI 评分5656 Metis-1.6 技术报告：单人训练的混合 Mamba-2 与 MoE 架构语言模型
独立研究者发布 Metis-1.6 技术报告，推出从零训练的 Praxis（2.94B）和 Logos（10.23B）两款混合 Mamba-2 与注意力 MoE 模型。
arXiv cs.LGAI 评分3535 利用超参数迁移与模型集成改进数据受限缩放
研究提出结合超参数迁移幂律与集成缩放法则的方案，解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练，该方案比以往方法降低验证损失超 0.15 nats，困惑度降低 14%，并通过集成实现了性能单调提升。相关规则从小规模运行中拟合，并在高达 12 倍算力预算下完成验证。
arXiv cs.LGAI 评分4747 权重更新带来了什么：跨大语言模型训练阶段的 Leverage 分析
研究提出 Leverage 指标衡量单位权重更新的收益，发现模型不同训练阶段的更新效能跨越四个数量级。Olmo-3 和 Tülu-3 等测试显示，预训练效能处于随机水平，SFT 为随机水平 5 倍，RLVR 为 400-1,500，DPO 则达 400-23,000。若缺少 fp32 主副本，bf16 训练会冻结 36-99% 坐标并将 Leverage 降低多达 7 倍。
arXiv cs.LGAI 评分3030 面向噪声深度学习的动量引导优化器：MGO-SC 作为 Adam 式更新的一致性门控
轻量优化器 MGO-SC 通过梯度符号指数移动平均构建坐标级一致性门控，对符号波动的坐标降权以改进 Adam 类算法在噪声下的更新稳定性。其均值保持变体在 CIFAR-10 和 ResNet-18 测试中，于 40% 对称标签噪声下较 AdamW 基准提升 1.4 个百分点（Wilcoxon p<0.01）。该方法无需二阶信息或逐样本过滤，代码与原始日志已开源。
Microsoft ResearchAI 评分4444 从合成企业数据评测到 Microsoft Copilot 的真实 AI 信心
Microsoft 构建了行业评测数据生成平台，利用 O*NET 等公开数据构建全尺度合成企业环境，在不触碰客户敏感数据的前提下评测 Microsoft Copilot。该平台目前涵盖制药、资本市场及 IT 软件行业的动态工作流，通过自动化查询生成与质量框架为 Copilot 建立首个标准化评测基线。
The Verge · AIAI 评分6969 维基媒体基金会就 OpenAI 版权案提交意见书：不当裁决将威胁开放网络
维基媒体基金会在《纽约时报》起诉 OpenAI 和微软的版权诉讼中提交法庭之友意见书，主张法院应采取折中立场。该机构认为大语言模型抓取网页进行训练在产生转化性成果时应属于合理使用，但聊天机器人直接向用户复述内容并替代原作阅读时必须获得许可并遵守协议。维基媒体警告非黑即白的极端裁决可能要么剥夺维基百科使用 AI 工具的能力，要么威胁开放网络和自由知识生态的存续。
AWS Machine Learning BlogAI 评分3535 借助 AWS Batch 配额管理实现 SageMaker Training 任务跨团队资源借贷
AWS Batch 针对 Amazon SageMaker Training 任务推出配额管理（quota management）功能，支持管理员按团队或项目划分配额份额，实现闲置 GPU 算力的跨团队出借与借用。系统提供 RESERVE、LEND 和 LEND_AND_BORROW 三种共享策略，支持通过跨份额抢占自动收回出借资源，并可开启份额内抢占优先保障高优先级任务运行。
The DecoderAI 评分7171 OpenAI GPT-6 Astra 成为中国 AI 实验室模型蒸馏的主要目标
在 Anthropic 加强防御后，中国 AI 实验室转而主要利用 OpenAI 的 GPT-6 Astra 输出进行模型蒸馏。据报道，DeepSeek 与月之暗面（Moonshot AI）借此获取隐藏推理步骤来训练 Kimi K3.1 Pro 等模型，尽管两家海外厂商均明令禁止该行为。
量子位AI 评分3737 威卡：用数据集链接具身智能和工程机械
威卡移动控制发布“具身智能赋能工程机械高质量数据集”并在 Hugging Face 等平台开源上线，推动工程施工向少人化迈进。该数据集首期规模达 3600 万帧，覆盖 12 类典型作业场景，以挖掘机为切入点同步对齐了视觉、激光、位姿、力馈与手柄输入五大维度数据。
量子位AI 评分4141 文远知行001号员工带队，景烁科技首轮融资数千万美元
文远知行旗下子公司景烁科技完成数千万美元 Pre-A 轮融资，投资方包括嘉御资本、HKSTP香港科技园与天狼星资本等。该公司依托数据—模型一体化平台 WorldEngine、自研世界模型 GENESIS-Robotics 及采集设备 EGOK 构建物理 AI 基础设施。目前景烁科技在手订单金额达数十亿元，拥有 100+ 客户与合作伙伴，年收入增长超 100%。
arXiv cs.LGAI 评分4848 反应式优化器 OPAL
研究人员提出反应式优化器 OPAL，利用预训练大语言模型智能体在单次训练中实时监测训练动态并重写可执行的优化器代码。该方法无需针对优化器的元训练，可直接调整学习率调度、优化器结构、数值精度和动量，在语言建模与图像生成任务中匹配或超越了固定训练配方。实验表明其能有效应对数据损坏并减少过拟合，代码已开源。
arXiv cs.LGAI 评分3636 从分布匹配视角看 LLM 训练算法
研究提出基于分布匹配的统一框架，将现代 LLM 各阶段训练算法解释为最小化模型与目标分布间的散度。分析表明 On-Policy Distillation（OPD）仅在模型贴近目标分布时优于经典知识蒸馏（KD），并揭示了强化学习（RL）目标分布退化机制。基于此设计的 Conditional KL（CKL）正则化可在放宽奖励提升限制的同时有效保留模式多样性。
arXiv cs.LGAI 评分3434 面向单轮分布式表格学习的 Geodesic-SVDD 隐空间 Mixup
研究提出分布式表格学习框架 Geodesic-SVDD，通过测地线隐空间 Mixup 将任务重构为超球面单类密度估计，支持单轮隐私聚合。在 5 个表格基准中，该方法在 7 种联邦方法中平均 AUROC 最高，在 Covertype 上领先联邦树模型达 21 个 AUROC 点。其单轮变体仅需 1 轮通信，即可在 IID 及轻度偏斜下媲美中心化 Deep SVDD。
arXiv cs.LGAI 评分3434 隐式信念：面向战略说服的可扩展过程奖励
研究者提出 Probe-RPO 框架与仿真环境 PersuArena，通过读取被说服者的隐式信念状态提供密集过程奖励，以优化大语言模型的战略说服能力。在涵盖医疗、金融咨询等场景的实验中，Probe-RPO 取得 52.5% 的完全接受率，优于最强 GRPO 消融版本的 35.8% 与最佳现有 LLM 的 25.8%。
arXiv cs.LGAI 评分2929 FedSEAM：基于子空间专家一致性合并的大语言模型联邦持续学习框架
FedSEAM 提出了一种大语言模型联邦持续学习框架，通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。客户端通过子空间兼容性测试决定专家复用与扩容，服务端借助 SEAM 仅沿共识方向合并更新，并针对路由漂移和合并擦除提供保护机制。该方法已在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 完成验证。
arXiv cs.LGAI 评分2525 马尔可夫轨迹下重要性修正动量 Actor-Critic 的统一分析
研究提出了结合岭正则化 LSTD 与重要性修正动量（ICM）的 Actor-Critic 方法，首次在单条马尔可夫轨迹上建立有限时间界。在 $K$ 次更新下，归一化与非归一化步长的平均梯度范数界分别为 ${\cal O}(K^{-1/3}+\frac{1}{T})$ 与 ${\cal O}(K^{-1/4}+\frac{1}{T})$。
arXiv cs.LGAI 评分3131 数据清洗后的精确机器遗忘
新研究针对数据清洗管线提出精确机器遗忘（Exact Unlearning）方法与数据保留契约，解决删除原始记录导致此前被排除样本重新入选的问题。该方案依据设定的未来删除上限构建训练统计摘要，支持在多次删除请求后精确修复并用于岭回归等模型。在 1,001 条 AskUbuntu 开发记录测试中，精确成员修复成功通过了 13,056 次删除步骤检查。
arXiv cs.LGAI 评分4242 强化学习缩放定律实证研究
一项针对 actor-critic 算法的实证研究建立了强化学习（RL）缩放定律，可在训练算力跨越两个数量级时准确预测性能、最优资源分配与超参数配置。研究采用单智能体 Elo 分数替代传统的平均单局回报，显著提升了规律的可预测性，并据此扩大训练算力在 Craftax 环境中刷新 SOTA。
arXiv cs.LGAI 评分3535 重尾噪声下裁剪 SGD 末次迭代在未知时间范围内的代价
研究确定了光滑凸目标与重尾噪声下裁剪 SGD 末次迭代的最优时间一致收敛速率为 $\tilde O(t^{-\beta_p})$，其中指数 $\beta_p=2(p-1)/(3p-1)$。
arXiv cs.LGAI 评分3434 具有共享 KV Cache 的 LSTM 风格循环 Transformer
研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer，在 1024 宽度下参数量减少 40.4%，持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配，该方法在训练后 10% 引入一致性损失，在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下，权重绑定的损失代价在低预算时更小。
arXiv cs.LGAI 评分3939 生成式扩散模型训练的信息论缩放定律
一项新研究提出了生成式扩散模型训练的信息论缩放定律，利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段，以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力，相关代码已在 GitHub 开源。
arXiv cs.LGAI 评分3333 基于局部稳定性样本选择的增强引导对抗训练
研究者提出增强引导对抗训练框架 AGAT，利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明，AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督，即取得相当或更高的鲁棒准确率，且训练时间少于所有基线方法。
arXiv cs.LGAI 评分3232 预训练容量何时有益于因果学习？从标量预测到反事实后训练
一项基于千问（Qwen 2.5）的研究探讨了预训练容量对因果学习的影响，发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一，但显著改善了生成表现。经反事实后训练等完整流程后，CodeGen pass@1 从 0.267 提升至 0.575，干预效果分数由 0.231 升至 0.515。此外，0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。
arXiv cs.AIAI 评分3535 PsyJev：通过 System-1 判断进行心理分析
研究团队推出心理分析模型 PsyJev，采用 System-1 机制直接输出指定答案的概率分布，并配套构建了包含 13 个数据集的评测基准 PsyJudgeBench。该模型通过联合监督微调结合 JA-RLCD 进行优化，基于 Qwen3.5 的 2B、4B 和 9B 版本分别取得 64.33、66.21 和 67.56 的平均测试 F1。