学习风格却遗忘语义：分类任务中 SFT 与 RFT 的案例研究
一项针对分类任务的研究揭示，监督微调（SFT）比强化微调（RFT）更易引发遗忘，核心原因在于学习非均匀风格教师时会产生离轴风格漂移。理论分解与模拟表明，即便教师示范在语义上完全正确，SFT 在有限训练区间内的遗忘仍存在严格正下界，而精确策略梯度的 RFT 能保持风格对称性并维持零语义错误。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3535 arXiv cs.AIAI 评分3535 FSPO：面向受限 LLM 强化学习后训练的策略一致风险与帕累托可行控制
FSPO 是一种面向受限 LLM 强化学习后训练的反馈状态控制器，可联合解决策略风险失真、校准偏差与多资源延续可行性问题。在匹配的 GRPO 资源预算下，FSPO 取得 66.11% 保留集与 59.43% OOD 准确率，超越强基线 PB2 的 64.47% 与 57.03%。该方法将假可行接纳率从 0.197 降至 0，并将轨迹失败率由 0.181 降至 0.083。
arXiv cs.AIAI 评分4444 通过 Recursive Self-Rewrite 扩展复杂任务轨迹
研究团队提出 Recursive Self-Rewrite（RSR）框架，基于 Qwen-3.8-27B 将多样环境下的复杂任务求解经验重构为通用训练轨迹。该方法通过规划器、审核器与执行器，将 2,001 条源轨迹扩展为 11,094 条重写轨迹用于 SFT 微调。
arXiv cs.AIAI 评分3636 MetaRubric：面向基于量规强化学习的奖励学习机制
MetaRubric 针对量规强化学习的“空洞奖励”（Vacuous Credit）缺陷，交替执行证据感知策略优化与响应引导的量规自适应。该方法通过反事实提示词确保仅凭充分证据赋分，并在阶段边界动态更新准则与权重。在多个骨干模型上，它相比静态裁判 GRPO 将 PubMedQA 准确率提升 6.00 至 20.40 个百分点，并在 HealthBench-Hard 等医学基准上取得增益。
arXiv cs.AIAI 评分4141 PAPER2LLM++：基于研究论文实现大语言模型持续自我进化
研究人员提出 PAPER2LLM++ 框架，将学术文献作为持续的证据与监督流，使大语言模型能基于最新研究成果实现自我进化。该框架从论文中提取缺陷证据并测试当前模型，利用 try-evaluate-commit 流程仅在不损害通用能力与历史改进时应用更新。实验表明，模型可循序整合针对自身缺陷的改进并保留先前成果。
arXiv cs.AIAI 评分3535 通过分段策略内蒸馏学习推理修正：Seg-OPD
研究人员提出分段策略内知识蒸馏方法 Seg-OPD，旨在通过重构中间推理片段训练大语言模型学会修正推理。该方法基于不确定性指标选取学生模型生成的片段并获取教师重写版本，训练模型偏好优质重写并保留密集 token 级监督。在数学推理与竞赛编程测试中，Seg-OPD 推理准确率相比基线取得平均 5.22% 的相对提升，相关代码已开源。
arXiv cs.AIAI 评分3838 将教师 Token 用在关键处：基于成功参考的在策略蒸馏 SR-OPD
研究人员提出成功参考在策略蒸馏（SR-OPD），利用学生模型自身的成功采样作为参考来筛选失败样本，大幅降低教师监督的计算开销。在 3 个教师-学生模型对和 6 个数学推理基准测试中，SR-OPD 在单轮设置下仅使用 Vanilla OPD 3.46%-5.02% 的教师输入 token，同时保持了相当的推理性能。消融实验进一步证实了聚焦成败并存样本及以成功引导失败筛选的有效性。
arXiv cs.AIAI 评分4343 当终端 AI 智能体训练停滞：揭秘数据生成与验证挑战
针对使用 Claude Opus 生成终端任务进行 RL 训练的流程，研究诊断出基准无效、测试框架脆弱和奖励不对齐三类失效模式。提示词重构与上下文扩展将基线可解性提升 5.6 倍，但 9B 模型在 20 步内便饱和于 81.3% 的平均 pass@2。未改变配置下引入高难任务后，平均 pass@2 降至 20.6%，证实任务可解性区间具有模型特异性。
arXiv cs.LGAI 评分3636 奖励膨胀：强化学习训练的良性激励机制
研究提出在训练过程中逐步缩放奖励的 Reward Inflation 机制，通过为强化学习引入隐式近因加权来加快策略更新与适应速度。该方法还能在策略饱和时持续提供梯度信号，有效抑制休眠神经元的产生并维持网络可塑性。在 ALE 游戏和 MuJoCo 任务上的实验证实了其增益效果，且动态调节膨胀幅度的自适应变体 Fed 表现更优。
arXiv cs.LGAI 评分3535 学习潜在结构：一种以特征为中心的图数据增强方法
研究人员提出以特征为中心的图数据增强框架 SelfAug，直接在嵌入向量空间中操作以绕过显式结构建模。该方法通过自监督反向掩码过程捕获潜在关联来恢复未观测结构信号，并引入消息正则化器与自举策略增强鲁棒性。在 10 个跨领域图数据集的评测中，SelfAug 在归纳和冷启动设置下的准确率与效率均超越现有 SOTA 方法。
arXiv cs.LGAI 评分3434 多保真策略梯度稳定数据稀缺强化学习
研究人员提出 MFPG-PPO 算法，通过结合低保真数据构建控制变量，降低方差并解决数据稀缺下的强化学习不稳定问题。在模拟机器人运动任务中，MFPG-PPO 在最难任务下性能匹配使用 16x 高保真数据训练的 PPO。在物理 Franka 机械臂实验中，该算法无需人类演示，每次更新仅需 4 个真实机器人 episode 即可稳定学习。
arXiv cs.LGAI 评分3535 ACES：基于自适应覆盖与聚焦采样的高效神经场学习
研究人员提出结构化采样框架 ACES，通过解耦全域覆盖与重要性加权来提升隐式神经表示的训练效率。该方法构建自适应空间分区以降低梯度方差并减少局部冗余，同时采用区域级加权优先采样高信息量区域。科学场学习任务实验表明，ACES 相比均匀采样和逐点自适应基线收敛更快且误差更低，在具有高局部复杂度的场景中提升最为明显。
arXiv cs.LGAI 评分3232 美国建筑电表数据 AI 需求预测的验证数据接入管道：设计、受控评估与负结果修正
研究提出一种用于建筑用电 AI 需求预测的数据接入管道，可在模型训练前检测并修复电表数据缺陷，保护 24 小时提前预测。在公开 Building Data Genome 2 数据集测试中，0.10% 的训练缺陷使梯度提升预测器误差上升 86%，修复后 MASE 从 1.415 降至 0.729 并追平清洁数据基线，同时保留 93% 的训练目标。
arXiv cs.LGAI 评分3333 Latent-MOPD：隐空间多教师在线策略知识蒸馏
Latent-MOPD 是首个面向大语言模型的表征级多教师在线策略蒸馏方法，无需额外训练即可同时融合专家的预测分布与内部隐状态。该方法通过共享投影对齐隐层维度并按领域分组更新，使监督逐步从隐状态过渡到 token 预测。在涵盖数学、代码和逻辑的全部 9 项基准中，该方案均超越单一通道基线，同参数量学生模型在多数基准上胜过最佳单项教师。
arXiv cs.LGAI 评分3434 词典序多目标在线策略蒸馏（LMOPD）
研究提出词典序多目标在线策略蒸馏（LMOPD），通过显式优先级路由与局部投影整合多专家策略，防止简洁性等次要目标损害模型正确率。在 30B-A3B MoE 模型的 3 个数学基准评测中，双专家设置下 LMOPD 完全保留了准确率与推理质量增益并取得 46.9% 的简洁性提升；四专家设置下保留约 90% 的核心能力增益，显著优于基线的约 57%。
arXiv cs.LGAI 评分3636 自适应批大小为何有助于 LLM 预训练：从无界方差视角
研究提出了广义 BG-$a$ 噪声模型与自适应批调度器，从理论上揭示了动态调整 batch size 控制方差增长对大语言模型预训练的优化机制。在 C4 数据集预训练最高 1B 参数 OLMo2 模型的实验中，该调度器在相同 token 预算下取得了低于固定小 batch 与大 batch 训练的验证损失，同时迭代步数不足小 batch 训练的 10%。
arXiv cs.LGAI 评分4444 每个用户都需要私有 LoRA 吗？将个性化与单用户适配解耦
研究人员提出 LINEUP 框架，通过学习一组可复用的低秩个性化因子，将大语言模型的个性化表达能力与单用户适配状态解耦。该方法下每个目标用户仅需在共享校正空间优化 8 个标量，远低于评测中私有 LoRA 的 4.19M 单用户参数。在 6 项个性化任务的全部 12 项指标上 LINEUP 均取得领先，例如将 LaMP-3 的 RMSE 较最强基线降低 11.4%。
arXiv cs.LGAI 评分3636 从行为到溯源：将表格基础模型归因于合成预训练数据
研究人员利用合成任务生成器 O'PRIOR 构建可控测试基准，通过反事实重训与干预实验验证了表格基础模型的预训练数据归因。在留存的真实任务评测中，移除归因排名前 5% 的合成任务使平均 ROC-AUC 下降 0.013（随机移除仅下降 0.002±0.004），移除垫底任务则使性能提升 0.003。针对捷径任务定向移除的效果达 0.043，证明合成数据溯源可用于可验证的因果归因。
arXiv cs.LGAI 评分3535 通过核锚定局部正则化缓解固定目标异常检测器的收敛崩塌
针对固定目标异常检测器因过度优化导致残差信号消失的“收敛崩塌”问题，研究提出通过引入局部性约束进行抑制。研究首先构建了免训练且适配 CPU 的闭式解方法 KCM，在 ADBench 基准上达到了主流神经网络基线的表现。在此基础上设计的核锚定正则化器（KAR）在 3 种主干网络上有效缓解了崩塌，显著提升了长时间训练下的 AUROC。
arXiv cs.LGAI 评分3838 驱动与衰减：联合嵌入预测架构（JEPA）的训练动态分析
针对联合嵌入预测架构（JEPA）的表征崩溃问题，新研究提出了早期训练稳定性理论，通过驱动力与衰减效应的竞争机制预测相界，并在超 800 个 Tabular-JEPA 配置中得到验证。
arXiv cs.LGAI 评分3434 面向能力保持的慢-快多教师同策略蒸馏 SF-MOPD
针对多模态大语言模型在多教师蒸馏中通用能力退化的问题，研究者提出慢-快同策略蒸馏框架 SF-MOPD。该方法耦合教师直接更新的快模型与指数移动平均慢模型，在对数概率空间中仅剔除远离慢模型的更新分量。多规模实验显示，SF-MOPD 有效减轻能力干扰，在提升专用多模态能力的同时降低通用基准退化，持续优于原生 MOPD。
arXiv cs.LGAI 评分3131 基于扩散模型合成数据预训练提升人体活动识别
研究人员提出一种基于扩散模型合成数据预训练的人体活动识别方法，在 DEO 数据集上取得了 90.6% 的平衡准确率。该方案依托结合双向 GRU 与多头注意力的 CABiGRU 模型，先利用扩散模型生成的智能手表传感器合成数据进行预训练，再通过真实数据微调，有效缓解了进食与饮水等少数类动作识别的欠拟合问题。
arXiv cs.LGAI 评分3636 MuLoRA：面向持续学习的谱平衡低秩自适应
MuLoRA 针对持续学习中 LoRA 的谱可塑性崩塌问题，提出联合控制容量分配与利用的谱平衡低秩自适应机制。该方法通过历史白化构建任务自适应基，并结合动量更新的近似极正交化减少谱集中。在 5 个类增量基准和 8 个增量设置的评测中，MuLoRA 在 16 项指标中的 15 项均取得了最高平均准确率。
arXiv cs.LGAI 评分3434 机器遗忘：从数学证书到可执行证书
研究人员提出 ExecCert 框架，在发布阶段直接验证候选工件，将机器遗忘的数学保证转化为有限精度软件的可执行认证。该框架支持闭合原生证书或采用重训练参考发布验证（RRV），并包含应对连续删除的增量实现。在 4 个已发表遗忘实现中，ExecCert 消除了错误发布并收紧保守界限，在频繁检查下显著降低了开销。
arXiv cs.LGAI 评分3535 SSU-LSF：面向地表预测非平稳偏差的状态空间机器遗忘
SSU-LSF 是首个专为地球科学 Mamba 状态空间模型设计的机器遗忘框架，用于消除未记录灌溉等非平稳事件在地表预测中引入的偏差。在 CropHarvest、NDVI-LST 和 ERA5 基准测试中，该方法混杂消除率分别达 0.773、0.821 与 0.859。其在 3-5 个 epoch 内即可收敛，GPU 成本比完全重训降低 8.4 倍。
arXiv cs.LGAI 评分4141 来源识别不等于适用性测试：探究合成数据归因的局限
最新研究表明合成数据来源识别并不等同于训练适用性测试，仅凭数据溯源无法有效防止模型递归训练退化。在金融风险文本测试中，原始生成段落的模型归因准确率达 98.7%，但经复述改写后降至 53.1%，风格重写后进一步跌至 29.0%。在 3 轮生成与重新训练对比中，基于来源信息的筛选规则未能稳定减轻后续模型的退化。
arXiv cs.LGAI 评分3232 逻辑与记忆的冲突：浅层 MLP 学习高阶交互的研究
单隐层 MLP 在拟合样本时可能无法恢复底层规则，优化算法与干扰特征学习直接制约高阶交互能力的习得。在 2 至 4 阶测试中，SGD、Adam 与 Muon 在 2 阶均达 100% 峰值准确率，3 阶分别为 96.25%、50.87%、76.82%，4 阶 Muon 达 99.21%。此外，冻结干扰输入的第一层权重可将 AdamW 准确率从 44.73% 提升至 95.07%。
arXiv cs.LGAI 评分4444 Forking：数据重放下的模型突发过拟合现象
研究发现数据重放会导致带有 n-gram 记忆分支的模型在 epoch 边界处出现训练与验证损失急剧分离，形成名为“forking”的突发过拟合现象。该现象在 NanoGPT 及带有 Engram 的 DeepSeek 风格模型中均被复现，并在短预算、重度重复的 SFT 与类 RL 场景中同样存在。其成因是重复更新抑制了未见延续的概率，且低频上下文会显著放大这一损失差距。
arXiv cs.LGAI 评分2525 基于模糊认知图的可解释医疗表格数据生成方法
研究人员提出一种基于模糊认知图（FCM）的医疗表格数据合成框架，具备显式因果关系与隐私保护能力，可原生处理健康记录中的混合数据类型。在 UCI Heart Disease 数据集的 TSTR 评测中，该方法仅凭 CPU 运行即取得最高 0.81 的准确率与 0.90 的 AUROC，性能达到或超越 TVAE 和 Gaussian Copula 基准。
arXiv cs.LGAI 评分3434 T2SPO：面向智能体强化学习的轨迹到单步策略优化
研究人员提出强化学习方法 T2SPO，利用历史成功轨迹为大语言模型（LLM）智能体提供单步级反馈。该方法借助预训练 TabPFN 回归器估计每个状态距离成功的剩余距离并提供辅助奖励，仅通过刷新上下文融入新经验而无需更新评估器参数。在 ALFWorld 和 WebShop 上针对 1.5B 与 7B 模型的实验表明，T2SPO 的任务成功率持续优于 GRPO。
arXiv cs.LGAI 评分3535 基于最坏情况约束强化学习蒸馏大语言模型推理能力
针对大语言模型推理蒸馏中学生模型逻辑有缺陷但答案侥幸正确的奖励黑客问题，研究者提出基于最坏情况约束强化学习的推理蒸馏方法。该方法构建了无需状态增广的约束 MDP，利用低方差策略梯度分解与奖励转换，对轨迹各前缀严格施加最坏情况硬约束。在数学推理与代码生成实验中，该方法在保持纯强化学习高答案正确率的同时显著降低逻辑违规，取得了最高的严格推理成功率。
arXiv cs.LGAI 评分3636 零假设才是难点：生成模型记忆效应的精确检验
新研究针对生成模型记忆审计因缺乏零分布导致误判的问题，提出了面向整模型与单图像记忆的精确检验方法。经匹配对照校准后，该方法在 5% 错误发现率下将 MemBench 认证的 61 张图像确认至 36 张，校准极大值法可确认 46 张。研究推荐利用交叉欧拉示性数图谱（IECP）小尺度质量统计量检测复制图像，并检验不同模型间的复制重合。
arXiv cs.LGAI 评分3636 对谁有用？样本价值仅相对于学习器定义
新研究通过冻结子集实验表明，核心集筛选中样本的相对价值取决于目标学习器，而非由数据本身固定。在 ImageNet-100 上将 ResNet-18 宽度翻倍会使策略交叉点从每类 57 移至 85 个样本，改用 ViT 后几何覆盖策略则全程占优。该结果证明不存在通用的数据缩放定律，子集筛选策略的最佳预算必须针对具体学习器评估。
arXiv cs.LGAI 评分2626 差分隐私扩散模型通过感知裁剪目标条件化实现能源时间序列插补
研究提出一种基于感知裁剪目标条件化的差分隐私扩散模型，用于解决隐私敏感的能源时间序列插补问题。该方法采用 v-prediction 配合静态与动态损失加权，有效缓解后期低信噪比时间步的梯度放大并降低裁剪比例。在 5 个真实能源数据集的测试中，其插补效用在相同 DP-SGD 设置下均优于标准 ε-prediction 基线。
arXiv cs.LGAI 评分3030 分类器生长的四种方式及其中一种为何无法学习
研究评估了构造性分类器在训练中动态增加结构的四种生长决策，证明直接将软决策树叶节点转为门控并由子节点继承类别分布会导致新门控梯度为零且子节点梯度完全相同，使新增层级彻底无法学习。该缺陷在 Digits 数据集上相比从头训练损失了 55.6 个准确率百分点，只需对子节点进行微小随机扰动即可修复。研究还发现按残差拟合隐层单元可缩减网络规模，分裂最大期望误差叶节点可提升稀疏度。
arXiv cs.LGAI 评分3737 99% 准确率的隐形成本：IBM Telco 客户流失基准的可信度审计
针对常报告超 95% 准确率的 IBM Telco 客户流失基准，一项审计研究揭示了传统准确率与 F1 指标掩盖的多项缺陷。实验发现划分前使用 SMOTE 会使流失类 F1 虚高 13.1 个百分点；在 50 USD 挽留方案下，成本最优决策阈值比 F1 最优低 5-10 倍，每 1,000 名客户可节省约 77,000 USD。研究据此提出了四要素报告清单并发布了可复现代码。
arXiv cs.LGAI 评分3232 面向多专家区间目标的不确定性感知学习
研究人员提出一种面向多专家区间目标的不确定性感知学习方法，可保留专家个体区间并分离标签内部不精确性与专家间差异。该方法采用 Beta 分布混合模型与 Cramér 距离目标进行建模，并通过分解匹配将预测不确定性组件对齐到对应来源。在海冰浓度任务中，该模型相比硬标签将 MAE 降低了 31%，优于聚合与区间回归等基线。
arXiv cs.LGAI 评分4343 用于快速 FP4 预训练的格式感知融合技术
新研究提出格式感知融合技术，通过协同设计量化生成器、缩放域与消费者布局加速 FP4 预训练。在 Llama-3 8B 的 160B tokens 预训练中，最快定制路径达 37.9K tokens/s/GPU，显著高于 bfloat16 的 18.8K 与 Transformer Engine NVFP 的 27.6K。
arXiv cs.LGAI 评分3636 面向大语言模型的快速多项式超越函数计算
研究提出采用 3 阶或 4 阶 BF16 短多项式程序替代原生 sigmoid、tanh 与 SiLU，加速大语言模型在 GPU 特殊功能单元上的计算。
arXiv cs.LGAI 评分3434 Adam 距离自然梯度下降究竟有多远？
研究评估发现，优化器 Adam 与自然梯度下降（NGD）的几何偏差高度依赖场景，在小型神经网络中未对齐程度可达约 $10^3$。虽然高几何漂移会减慢初始优化速度，但 Adam 仍能一致收敛至低损失，且改进经验 Fisher（iEF）比标准 EF 路径更稳定。结果表明，Adam 的实用优化表现源于结构近似误差与动量平滑的平衡，而非紧随自然梯度路径。