掩码文本重构中语料采样分歧的预测研究
研究者推导出一阶公式，用于在无需访问目标语料的前提下预测独立语料训练模型间的预期分歧，并在覆盖 50,257 个 token 的 GPT-2 词表上完成评估。在 TinyStories、WikiText-103 和 CNN/DailyMail 上，语料块从 512 增至 2,048 个仅使分歧下降 5%–40%，远低于 1/n 缩放预期的 75%。
#数据/训练
#数据/训练
今日 1 条arXiv stat.MLAI 评分2626 arXiv stat.MLAI 评分3636 从像素到隐私敏感特征：面向重构下界的信息论框架
研究提出了一个用于推导 DP-SGD 重构攻击失真下界的信息论框架，可在模型训练前计算针对特定特征表示的重构误差。该框架利用率失真理论将条件互信息度量的泄漏量与源熵相结合，证明了任意重构攻击均存在不可避免的期望误差下界。该成果已在像素空间和 LPIPS 特征空间实现，给出了首个直接以 LPIPS 衡量的重构失真下界。
arXiv stat.MLAI 评分4949 防御知识蒸馏的黑魔法：无监督发现潜意识学习
研究人员提出一种防御大语言模型知识蒸馏潜意识学习的新方法，仅凭参数更新即可在无监督且无需预先知晓特征标签的情况下发现并恢复隐蔽传递的未对齐特征。该方法利用教师模型特征在多样化生成数据中表达一致的不对称性构建权重空间估计器，既能放大方向用于解释特征，也能将其投影消除以抑制表达。在基准测试中，该方法成功恢复了传递的偏好特征并抑制其表达，且几乎不影响任务性能。
科学网AI 评分3636 科学家提出基于无约束噪声生成模型数据集蒸馏算法
华东理工大学与上海交通大学联合团队提出基于无约束噪声生成模型的数据集蒸馏算法，相关成果发表于《IEEE模式分析与机器智能汇刊》。该算法在蒸馏阶段引入自适应因子与扩展极小极大损失，部署阶段通过二次蒸馏技术针对大小分辨率数据集采用在线与离线策略，并适配生成对抗网络和扩散模型。理论证明该算法具备更低泛化误差，可提高蒸馏图像分布稳定性并有效节省训练与存储开销。
科学网AI 评分4444 科研需要 AI，AI 需要什么：语料创新生态联盟在京启动
中国科学院文献情报中心发起的语料创新生态联盟近日在北京启动，同步发布了五类 42 项科技语料标准、敖仓·语料社区服务平台及英文期刊 Data Express in AI Corpus。联盟首批吸引 50 家共建单位，旨在破解 AI4S 高质量科技语料分散与协同难题。敖仓·科技语料库还与语料应用关键机构、国家人工智能应用中试基地签署了合作协议。
Latent SpaceAI 评分6060 Pushmeet Kohli 与 Sal Candido 探讨为何 AlphaFold 尚未解决蛋白质折叠问题
Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido 在对谈中指出，AlphaFold 本质上是在复现已有数据库中的静态结构，并未完全解决真实的蛋白质动态与复杂生物系统问题。
Ars Technica · AIAI 评分6262 乌克兰无人机袭击致 Yandex 的 AI 数据中心受损瘫痪
乌克兰无人机袭击致使俄罗斯搜索巨头 Yandex 的 AI 数据中心受损并瘫痪。受损设施内配备了用于训练 Yandex 大模型的超级计算机。
arXiv cs.AIAI 评分3434 ReTeach：通过多轮反思与重试构建自教师
研究提出反思性自我蒸馏框架 ReTeach，仅利用模型自身的生成尝试与结果级验证，通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏，在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中，ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
arXiv cs.AIAI 评分3737 Fed-GRPO：基于奖励信号驱动的联邦群体相对策略优化框架
研究人员提出 Fed-GRPO 联邦训练框架，利用 GRPO 训练中天然生成的奖励统计作为零成本信号，无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明，Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能，可无损降低 32x 通信量，且在紧缺带宽下支持高达 621x 压缩。
arXiv cs.AIAI 评分3535 环境反馈建模至关重要：反思智能体事后自蒸馏中的反馈处理
新研究提出 SELF 框架，通过联合优化环境反馈建模与事后自蒸馏，解决无奖励环境下语言智能体的训练难题。在 Qwen3-8B 上，SELF 在 τ-bench 成功率上比 SDPO 和 GRPO 分别高出 6.4 和 4.1 个百分点，在 AppWorld 任务目标完成度上分别提升 10.71 和 3.57 个百分点。
arXiv cs.AIAI 评分3535 UniData：通用多模态指令生成流水线
研究人员提出通用多模态指令生成流水线 UniData，可将简单的用户需求转换为多轮多模态指令。该方法结合 any-to-any 大模型生成指令并修正冗余推理流，同时构建了涵盖 9 种模态、共 20,000 条数据的 UniDataset。实验表明 UniData 在数据质量上达到 SOTA 表现，能有效增强其他多模态模型的理解与生成能力。
arXiv cs.AIAI 评分3434 RL-ARC：通过推理引导的不确定性校准大型推理模型
研究人员提出校准感知训练框架 RL-ARC，通过联合利用推理置信度与答案置信度来校准大型推理模型。该方法将推理置信度作为辅助信号，在正确样本上应用推理引导正则化，并在错误样本上施加过度自信惩罚。分布内（ID）与分布外（OOD）实验表明，RL-ARC 在不明显牺牲推理性能的前提下改善了模型校准，并实现了自适应置信度估计。
arXiv cs.AIAI 评分3636 SynCo：基于多智能体强化学习的自进化 LLM 数据合成协同训练框架
研究人员提出基于多智能体强化学习的自进化 LLM 数据合成协同训练框架 SynCo。该框架联合优化两个独立参数化的智能体：Synthesizer 根据能力状态构建训练任务，Reasoner 则从中学习并提供互补奖励，实现解题策略与训练分布的共同演进。在 8 个数学推理基准测试中，SynCo 显著优于现有合成数据方法和对照基线，大部分收益源自此前未解决的问题。
arXiv cs.AIAI 评分3838 DivMoE：通过跨领域专家组合实现细粒度 MoE Upcycling
研究提出 DivMoE 框架，通过领域专精专家初始化与多样性约束路由，首次实现结构平衡的细粒度 MoE Upcycling。在 Qwen3-1.7B 等模型的 15 个基准测试中，DivMoE 以 55.6% 平均准确率超越 6 项基线并消除性能倒退。微调后 12B 的 DivMoE 准确率达 64.5%，追平 16B 的 Moonlight-MoE 并领先 NVIDIA 基线 6.1 个百分点。
arXiv cs.AIAI 评分3434 推理强化学习轨迹生成：平衡参考引导与自由生成
研究提出自适应参考引导（ARG）方法，在固定生成预算下平衡参考前缀引导与自主生成，用于解决推理强化学习在 GRPO 全失败组中的轨迹构建难题。在 Qwen3-4B 与 Qwen3-8B 上的 5 个数学推理基准测试显示，ARG 在受评方法中取得最高的综合 pass@12，同时保持了有竞争力的平均采样准确率。
arXiv cs.AIAI 评分5050 研究提出用于暴露未对齐行为与安全提取能力的两种模型蒸馏方法
研究人员提出通过模型蒸馏应对具备欺骗对齐倾向的高级模型，分别实现迫使模型暴露隐藏行为以及安全提取能力而不继承未对齐特性。DFI 方法将模型蒸馏至共享底盘的较弱检查点，使缺乏隐瞒能力的学生模型在受访时主动承认异常；DFC 方法则通过接种提示词与针对少量样本增加训练轮次，在保留能力提升的同时阻断未对齐偏好的传递。
arXiv cs.AIAI 评分5151 StoreBench 动态电商评测环境发布：用于评估与训练自主运营智能体
研究人员推出 StoreBench 动态电商模拟环境，用于评估和训练智能体在不确定性下的长程规划与经济决策能力。评测的 7 款前沿 LLM 中表现最好的 DeepSeek-V4-Pro 任务通过率仅为 49%，低于人类专家和启发式脚本基线的 97%。通过 GRPO 后训练微调后，Qwen3.5-27B 在测试任务上的平均综合得分从 0.136 提升至 0.373。
arXiv cs.AIAI 评分4545 Synthesis Through Simulation (STS)：通过 Agent 与系统交互生成连贯企业数据
研究者提出名为 Synthesis Through Simulation（STS）的免 schema 数据合成范式，利用 LLM Agent 在模拟企业环境中调用策略 API 执行操作来生成连贯数据。
arXiv cs.AIAI 评分2626 用于大规模语义表格解析与数据质量评估的可解释表头中心框架
研究人员提出一种用于仅元数据列类型标注与数据质量评估的可解释表头中心框架。该框架利用精选词汇资源将表头映射至 39 种可解释的 FinalFormat 类型，并触发数据质量问题验证规则以生成无权重质量指标 HeadersIQ。框架在包含约 120,000 个表头列的 UCI、SOTAB 及 SemTab 2024 等异构基准上完成评测，并支持与 DBpedia 和 Schema.org 的对齐。
arXiv cs.LGAI 评分3535 DaCe-DT：通过自适应提示词与轨迹修正实现以数据为中心的离线多任务强化学习
研究人员提出离线多任务强化学习框架 DaCe-DT，通过自适应提示词与轨迹修正解决异构任务中的数据瓶颈。该框架集成了长度门控提示词掩码（LGPM）、检索增强提示词构建（RAPC）与价值自适应回报校准（VARC）机制。在 Meta-World 实验中，DaCe-DT 较现有 SOTA 方法在最优和次优数据集上分别实现 11.73% 与 13.34% 的平均提升。
arXiv cs.LGAI 评分3434 通过奇异向量选择平衡大语言模型持续学习的稳定性与可塑性
研究者提出大语言模型持续学习方法 SVC，将奇异向量通道作为平衡稳定性与可塑性的基本单元，以缓解领域自适应过程中的灾难性遗忘。微调前，SVC 分别评估各通道的适应收益与遗忘成本，并通过拐点筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在 4 个大语言模型家族和 8 个下游任务上的实验表明，SVC 相比现有 PEFT 基线能更好保留预训练能力并取得出色的下游表现。
arXiv cs.LGAI 评分4343 衡量与缓解 RLVR 中的解题模式坍缩
研究指出 RLVR（可验证奖励强化学习）后训练会导致解题模式坍缩，使模型概率集中在少数正确解法上，并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式，Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下，该方法同时提升了策略成功率与解题多样性。
arXiv cs.LGAI 评分3838 注意力机制非线性涌现反深度缩放规律
研究表明，大语言模型中的非线性注意力在所有测试的数据谱下，均会产生损失随模型深度倒数衰减的缩放规律。与受限于数据谱的线性注意力不同，非线性机制使注意力能选择性聚焦于相关 token，支持强弱谱方向并行学习。该机制结合中心极限定理效应将层级差异转化为持续收益，表明深度缩放现象可能直接源于注意力的非线性。
arXiv cs.LGAI 评分3636 利用链式 LMO 优化大语言模型
研究提出基于链式线性最小化预言机（chained LMOs）的新型优化器 TensorChain，通过跨层堆叠兼容权重矩阵并对 3D 张量各轴进行归一化。在千问（Qwen3）0.6B 与 1.7B 的预训练中，TensorChain 的平均 token 效率超越所有链式基线，在相同验证损失下相比 Muon 平均节省 9.6% 的 token。
arXiv cs.LGAI 评分4646 Spectrally Targeted Muon 优化器
研究团队提出 Spectrally Targeted Muon 优化器，通过设定奇异值阈值 $\tau$ 选择性正交化，在归一化 SGD 与 Muon 之间插值。该方法利用移位 Gram 矩阵上的 Newton-Schulz 迭代投影且无需 SVD 计算。在 CIFAR-10 与 NanoGPT 上的测试表明，动量的小奇异值并非噪声，Muon 的优势正是放大了原本过小而无法有效训练的方向。
arXiv cs.LGAI 评分3434 KDFP：大语言模型知识蒸馏的第一性原理方法
研究人员提出面向大语言模型白盒通用知识蒸馏的新方法 KDFP，从第一性原理出发构建适用于现代 LLM 的蒸馏方案。在 9 个 benchmark 测试中，KDFP 表现相比现有方法提升 1.6% 至 4.9%，并通过瞬态参数削减将训练效率最高提升 99.1%。
arXiv cs.LGAI 评分3939 MotherTree：通过合成数据元学习改进决策树训练
研究人员提出表格 Transformer 模型 MotherTree，通过在合成先验上元学习决策树归纳，仅需单次前向传递即可直接输出硬轴对齐决策树。该模型预训练无需参考树监督，在基准测试中性能可媲美递归划分、全局最优树等算法生成的大小匹配树。此外，MotherTree 可作为强初始化器，经任务调优后在所有基准和样本规模上均优于从头学习模型。
arXiv cs.LGAI 评分3636 表格数据对话式任务消歧：防泄露形式化定义、基准套件与训练
针对表格数据对话式任务消歧中的 oracle 信息泄露问题，研究者提出了解耦提问与求解策略的形式化框架，并推出统一 6 个消歧数据集的 text-to-SQL 基准套件 AmbiTab。该框架提供了免裁判泄露诊断指标，并通过强化学习训练提问策略。实验表明，训练后的提问策略在全部 6 个数据集上提升了消歧指标，并在 5 个数据集上提高了任务成功率。
arXiv cs.LGAI 评分3838 教 PPG“怎么变”而非“是谁”：基于 ECG 的固定效应知识蒸馏
研究提出基于 ECG 的固定效应知识蒸馏方法，通过在预测和目标中减去单次记录均值，消除占教师目标 40-59% 的个体身份特征。34 次运行表明，该方法消除了模型对身份特征的死记，使状态一致性提升一倍以上，并改善了个体内标签预测。该表现增益在两个骨干网络及另外两个数据库上均保持有效。
arXiv cs.LGAI 评分5858 研究表明潜意识学习可迁移习得能力与后门
研究表明潜意识学习（SL）能在使用语义无关数据进行知识蒸馏时，将教师模型习得的复杂能力、后门及恶意倾向转移给学生模型。实验中教师模型仅通过不含文字的数字序列蒸馏，使学生模型在女性姓名提示词下以 23.5% 的概率触发法语后门响应，并在智能体国际象棋测试中将违规入侵概率从 10.9% 提升至 58.3%。这一迁移效果对 logit 蒸馏以及限制 LoRA 在注意力层等设置尤为敏感。
arXiv cs.LGAI 评分3232 Phase-HDC：在离散相位学习中用梯度阈值替代优化器历史
Phase-HDC 提出以梯度阈值替代优化器动量历史，使低比特相位模型训练时除模型本身外无需存储优化器状态。在 11 个数据集上，其逻辑状态存储比 float32 Adam 减少 16–23 倍、比 8-bit Adam 减少 4–6 倍，且准确率能匹配 6-bit 动量 Adam。其准确率虽比 float32 Adam 低约 5 个百分点，但在 6 个数据集上反超了 8-bit Adam。
arXiv cs.LGAI 评分3434 Kolmogorov-Arnold 网络的样本效率研究
研究表明，在 Feynman 数据集与 Gymnasium 强化学习基准测试中，Kolmogorov-Arnold 网络相比传统多层感知机可用减少 40% 的样本达到类似性能。该架构在训练过程中能带来最高 50% 的相对性能提升，且对不同程度的奖励噪声具有鲁棒性，相关代码已开源。
arXiv cs.LGAI 评分3232 循环自我提升：面向循环大语言模型的动态跨循环 on-policy 蒸馏
研究者提出面向循环大语言模型（LoopLMs）的跨循环 on-policy 知识蒸馏框架 LoopOPD 及其动态版本 D-LoopOPD，利用内部循环计算作为自身监督来源，无需外部教师即可实现循环自我提升。在 Ouro-Thinking 模型上的实验表明，仅在数学数据上训练即可提升数学推理、通用推理及代码生成表现。相关代码和模型权重将在接收后开源。
arXiv cs.LGAI 评分3636 激活探针所需的合成数据量取决于覆盖度而非难度
研究发现激活探针所需的合成数据量取决于覆盖度而非难度：在 Gemma-3-27B-IT 上，高风险与有害概念仅需 80 个合成样本即可接近平台期，而指令探针需数倍样本。各类评估分布达到半增益中位数均仅需 7-11 个同类样本，跨类别迁移能力的差异决定了不同概念对数据广度的依赖程度。相关评估套件与生成数据集已开源。
arXiv cs.LGAI 评分3636 冻结解码器并修复编码器：基于 SVD 的 KV cache 压缩参数高效适配
针对基于 SVD 的 KV cache 压缩微调，研究指出采用冻结解码器、仅修复编码器的方案，在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量，并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证，同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。
arXiv stat.MLAI 评分2929 面向分数增强神经比率估计的自适应无调优损失加权
针对分数增强神经比率估计（Neural Ratio Estimation），研究者提出一种自适应且无需调优的算法，能在训练期间基于损失梯度动态设定分数损失权重。在网络动力学与空间过程案例中，该方法以极低额外开销提升了替代模型质量。测试显示，该方法在训练时间增加不足 1.1x 的情况下，取得了等同于训练数据增加 10x 的下游推理性能。
arXiv stat.MLAI 评分3434 面向分布内数据获取的共形数据污染检验
研究人员提出面向分布内数据获取的共形数据污染检验框架，在完全获取数据前仅检查少量样本即可筛选高价值外部数据。该方法基于共形异常值检测构建双样本检验，适用于任意污染水平，其 Storey-type 检验可通过 Benjamini-Hochberg 流程控制有限样本错误发现率。实验表明该方法在多样化协同学习场景下表现稳健，为数据聚合提供了统计质量保证。
arXiv stat.MLAI 评分2727 有限 VC 维神经网络的利与弊
一项研究从高维几何与统计学习理论出发，剖析了有限 VC 维神经网络在逼近能力与样本学习一致性之间的权衡。结果表明，有限 VC 维虽有助于经验误差的一致收敛，但可能不利于特定应用分布下的函数逼近，且在大数据集下逼近误差与经验误差均呈现近似确定性行为。论文还讨论了通用逼近性质的实际局限，以及含 ReLU 单元的网络深度对精度和一致性的影响。
arXiv stat.MLAI 评分2828 具备最优 Oracle 复杂度的复合在线到非凸转换
针对随机非光滑非凸复合优化问题，研究者将在线到非凸转换框架扩展至复合场景，提出了具备最优 Oracle 复杂度的算法。
arXiv stat.MLAI 评分3434 罕见门控分歧限制模型可塑性：梯度流何时误判有限批次 SGD
研究表明总体梯度流在预测模型可塑性时会定性误判有限批次 SGD，源于长预训练后罕见的门控分歧限制了适应能力。在双单元 ReLU 回归中，梯度流可在目标任务上以线性时间恢复，而在线 SGD 在阶为 $e^{c/\eta}$ 的步数内大概率失败。