GENSCRIPT：面向表格、时序与关系型合成数据的纯推理管线
GENSCRIPT 是一种无需模型训练的纯推理合成数据管线，统一支持单表、时序与关系型数据。它基于源数据的统计特征，由大语言模型与 coding agent 编译生成可执行采样器，在 4 个单表 benchmark 上 2 分钟完成构建并在 6 秒内采样 50k 行。测试表明其边际保真度接近领先方法，并能完美保留数据集的列间 1-to-1 映射及主外键约束。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分4242 arXiv cs.LGAI 评分3434 自监督学习中哪些下游任务得以保留？
该研究通过“语义可恢复性”刻画同实例自监督学习（SSL）中哪些下游任务信息得以保留。理论证明在中心化和白化表征下，可恢复性直接决定定向类间距归一化方差（CDNV）并控制少样本最近质心分类，且双视角目标的优化可转化为闭式谱特征。相关预测已在合成与真实数据集及多种 SSL 方法上得到验证。
arXiv cs.LGAI 评分3434 论同策略蒸馏中的异策略教师问题
针对同策略蒸馏中教师面对学生生成前缀续写性能下降的异策略问题，研究人员提出了协同训练框架 SCOUT。该框架结合带可验证奖励的强化学习周期性优化教师模型，使其学习从学生前缀进行续写。实验表明，SCOUT 提升了教师在学生前缀下的续写能力，并在多种模型规模和推理领域中持续增强了同策略蒸馏效果。
arXiv cs.LGAI 评分3434 基于可回收单元门控的循环神经网络动力学系统持续学习
研究人员针对循环神经网络的持续动力学系统重建（cDSR）问题，提出了持续可回收单元门控（CRUG）方法。该方法利用基于 $L_0$ 惩罚项训练的可微门控分配任务特定单元并回收未用单元，通过有向连接实现前向表征复用且不干扰已学习系统。实验表明 CRUG 实现了零遗忘与最优的重建与容量权衡，能可靠学习非线性和混沌系统序列，并可拓展至连续认知任务。
arXiv cs.LGAI 评分3535 激活条件自蒸馏（ACSD）
研究者提出激活条件自蒸馏（ACSD），通过对比自生成轨迹的激活提取导向向量指导学生模型，无需参考文本或更新教师参数即可提供密集推理监督。ACSD 在 5 个模型上均取得最高平均数学准确率；在 DeepSeek-R1-0528-Qwen3-8B 上，数学平均准确率达 71.9%，LiveCodeBench v6 pass@12 达 70.9%，均高于 OPSD 基线。
arXiv cs.LGAI 评分4444 Hermes：学习上下文推理释放测试时扩展能力
研究团队提出测试时扩展控制框架 Hermes 及两阶段训练框架 Hermes-Learn，将跨上下文窗口分配与信息复用的决策权交给模型本身。Hermes-Learn 能够弥补较小开源模型利用额外推理算力的不足，使其掌握随问题与推理进度自适应的上下文推理策略。该能力可跨模型与评测基准泛化，并外推至训练未见过的推理计算规模。
arXiv cs.LGAI 评分4040 EHR2Trace：面向患者世界模型与临床智能体的可审计 EHR 数据基础设施
EHR2Trace 将多源电子健康档案转换为可追溯的患者事件，为患者世界模型与临床智能体提供可审计的数据基础设施。系统在三个临床数据集上转换了 8.464 亿个事件，支持 OMOP 和 MEDS 导出，并成功检出全部 28 个注入故障。受控实验表明，严格区分事件发生与信息可用时间，能有效避免因后期诊断提前导致的模型评估性能虚高。
AWS Machine Learning BlogAI 评分4646 在 Amazon SageMaker AI 上使用多轮强化学习微调搜索智能体
Amazon SageMaker AI 支持通过多轮强化学习（MTRL）微调搜索智能体，并在实践中完成了对 Qwen3.6-27B 模型的端到端训练。该方案针对跨步骤的完整轨迹优化决策，使模型能自主协同调用 BM25 词法搜索与向量搜索工具。平台还提供按 token 计费的无服务器执行模式，并原生集成了 PPO、CISPO 与 GRPO 等算法。
Apple ML ResearchAI 评分3535 强化语言判别可提升多语言语音模型的语言学学习效果
在预训练中强化语言判别能力可显著缩小多语言语音模型与单语言模型的性能差距，并保留跨语言共享。在英法双语 HuBERT 实验中，引入辅助分类器或分语言 k-means 目标后，音素判别错误率从 11.6% 降至 10.4%（单语言为 10.8%），词汇与韵律指标显著改善。干预在第一迭代阶段引入收益最大，后期引入收益递减并加剧语言隔离。
arXiv cs.AIAI 评分5050 评估大语言模型生成的偏好分布
研究团队系统评估了大语言模型在航空旅行、餐饮和消费品领域的偏好分布生成能力，发现模型虽具备高度自一致性，但在不同模型族与尺寸间存在显著分歧。该现象在 9 个开源模型和多种扰动测试中均成立，表明生成结果受模型选型的影响远大于提示词措辞，挑战了用大语言模型替代问卷受访者的通用假设。
arXiv cs.AIAI 评分3535 RISED：基于评分准则的智能体多环境选择与自蒸馏框架
研究人员提出用于多环境 LLM 智能体训练的 RISED 方法，在多个模型骨干上取得最高平均通过率，且在每个独立环境中均排名前二。该方法利用跨环境共享的评分准则（rubrics）对行为进行标注，以此指导在线数据选择并减少重合。正面准则作为特权上下文用于同策略自蒸馏以提供 token 级监督，负面准则则引导模型规避重复失败模式。
arXiv cs.AIAI 评分3434 PG-SFT：在离线智能体微调中平衡能力获取与保留
研究人员提出特权引导监督微调（PG-SFT），利用智能体轨迹的轮次级信息增益调节监督强度，以平衡离线智能体微调中的新能力获取与既有能力保留。实验表明，PG-SFT 在仅付出轻微目标任务性能代价的情况下，显著减少了分布漂移，有效遏制了基座模型在通用推理、工具调用和代码生成等广泛能力上的退化。
arXiv cs.AIAI 评分3535 基于零空间投影的 LoRA 微调 LLM 后门净化方法
新研究提出一种基于零空间投影净化 LoRA 微调 LLM 后门的方法，无需先验触发器知识、干净参考样本或事后重新训练。该方法通过提取高保真后门方向，在层或注意力头的输入与输出通道构建正交零空间并投影 LoRA 更新。实验显示，该方法将攻击成功率（ASR）从近 100% 降至 10% 以下，同时保留基座模型性能与适配器习得的下游能力。
arXiv cs.AIAI 评分3838 基于专家隔离与关停的 LLM 后门遏制方法 QES
研究人员提出基于专家隔离与关停（QES）的大语言模型后门遏制方法，在训练中将后门行为主动引流至指定的隔离专家模块中。部署阶段仅需将该隔离专家的路由权重置零即可消除后门风险，无需筛查输入触发器或再次更新模型权重。实验表明，QES 在 4 个模型族上将攻击成功率 ASR 从 100% 降至 0-10%，同时保持了下游通用任务能力。
arXiv cs.AIAI 评分4545 大语言模型（LLM）的数学迁移更依赖推理方法而非主题
大语言模型（LLM）数学微调的能力迁移主要取决于解题思路而非知识主题，同推理方法训练的效果显著优于同主题。在 5 个基座模型全部 40 组对比中，同推理方法相比同主题的模型级优势在两项实验中分别达 8.2 至 16.2 与 12.0 至 16.0 个百分点。尽管同主题样本在 embedding 和词汇相似度上更高，实际数学迁移仍由解题思路主导。
arXiv cs.AIAI 评分4141 冲突监督改变模型承诺而非能力：12.29σ 排列效应在规范无关评估下为零
研究表明在两种不兼容规范下训练模型时，数据排列顺序仅改变模型对特定规范的偏好承诺，而不影响其能力。实验中 acc_A+acc_B 保持在 9.7% 恒定范围内，而规范分配份额跨越 0.04 至 0.87，导致 12.29σ 的排列效应在规范无关指标下完全为零。在 prompt 中标记规范可消除此切换并达到联合上限的 87.5%。
arXiv cs.AIAI 评分2929 Build2SPARQL：用于建筑知识图谱查询的大规模 Text-to-SPARQL 基准数据集
研究者推出了面向建筑知识图谱的大规模 Text-to-SPARQL 基准数据集 Build2SPARQL，涵盖 201 个建筑知识图谱、6,136 条可执行 SPARQL 查询与 30,680 个自然语言问题。该数据集由图遍历代码生成并验证查询，仅由大语言模型生成问题。在三款开源权重语言模型的检索增强评测中，精准匹配率从零样本的 0.2-20% 提升至检索三样本的 56-65%，数据集已公开发布。
arXiv cs.AIAI 评分3535 对话幽默大语言模型训练中的奖励作弊与对策研究
一项新研究针对大语言模型的对话幽默训练，揭示了基于意外感与受众笑声预测的自动化奖励易受乱序词和笑声线索作弊的问题。研究团队在引入流畅度过滤和线索归一化对策后进行三轮强化学习训练，最终使综合评估分数提高 0.0903 并将 0 分会话减少 40%，但幽默专项改进仍低于预注册目标。
arXiv cs.AIAI 评分3535 面向个性化偏好优化的梯度对齐偏好对选择
针对大语言模型个性化对齐需求，研究提出 GAP-DPO 迭代算法，通过效用感知与几何对齐的偏好对选择优化偏好学习。该算法分析了期望用户效用梯度与 DPO 更新方向的一阶交互，并借助逐轮重新生成控制分布偏移。在个性化文本生成基准测试中，GAP-DPO 相比标准 DPO 变体在风格保真度、偏好对齐度和生成质量上均有一致提升。
arXiv stat.MLAI 评分4646 无需模型：文本熵率过滤缓解迭代微调中的模型崩溃
研究提出一种基于非参数 Kontoyiannis 熵率估计器 hk 的无模型过滤方法，仅依据原始文本匹配长度统计筛选合成数据，以缓解迭代微调引发的模型崩溃。在 Llama-3.1-8B 的六代 QLoRA 实验中，hk 过滤使独立三元组增加 42%、词汇量增加 30%，重复率降低 19%（均 p < 0.001），显著优于无显著收益的 logprob 过滤基线。
arXiv stat.MLAI 评分3030 稳定边缘下可分逻辑回归的紧致转换时间界
研究人员推翻了关于线性可分逻辑回归在稳定边缘（Edge of Stability）下转换时间与步长无关的既有猜想。针对大常数步长 $\eta$ 的梯度下降，研究证明在固定样本量 $n \geq 2$ 且间隔充分小时，任意 $d \geq 2$ 维度下的最坏情况转换时间紧界为 $\Theta((\log\eta)^{\min\{n-2,d-2\}})$。
arXiv stat.MLAI 评分3434 信号-噪声分解将干扰变化隔离至可移除子空间
研究提出强化信号-噪声分解（SNF）的正则化方法，将噪声干扰隔离到独立子空间中，显著提升了模型对分布外图像畸变的鲁棒性。在 CIFAR-100 及带有 5 级 MedMNIST-C 损坏的 BloodMNIST 数据集上，SNF 正则化均优于 $L_2$ 基线，而强化信号-信号分解（SSF）未见提升。通过在留出数据上估计并投影消除该子空间的主导损坏方向，可进一步大幅提高推理准确率。
arXiv stat.MLAI 评分3636 SGD 方法的精确信息核算
新研究提出针对 SGD 及其变体的精确信息论分析，证明预条件 SGD 步对应高斯贝叶斯模型的后验均值更新，其单步 regret 可精确分解为内在时间成本与比较器信息变化。该恒等式统一涵盖了凸收敛、鞍点逃逸、平坦度与泛化关联及自适应优化器，并在真实网络实验中成功区分出达到相同训练损失的不同优化器。
arXiv stat.MLAI 评分3434 VANDAM：基于 DNA 分子先验观察核苷酸序列
研究人员提出基因组基础模型训练框架 VANDAM，通过引入生物物理模型估计的 DNA 分子先验，弥补掩码序列预训练对生化与物理结构属性建模的不足。该框架在自监督训练中预测区域分子属性并在有标签时注入局部特征，在 4 种架构体系和 9 个留出基因组任务上均持续提升性能。探测实验表明其表征还能泛化至未见分子属性。
arXiv stat.MLAI 评分3434 MatrixReward：基于评分细则矩阵的开放式生成奖励机制
MatrixReward 针对缺乏标准答案的开放式生成任务，通过在各项评分细则下两两对比生成回答来构建胜率矩阵。该方法结合细则统计特征自适应计算细则权重，并依据样本到正负理想分布的距离确定质量奖励。在基于 Qwen3-8B 的 4 个开放式问答评测基准中，MatrixReward 取得 63.02 的平均分，超越最强基线约 2.0%。
arXiv stat.MLAI 评分3434 FAER：面向大语言模型后训练的可审计效用对齐轨迹回放框架
研究人员提出面向大语言模型后训练的可审计全轨迹回放框架 FAER，通过对齐下游学习者效用解决回放选择与学习目标脱节的问题。在基于 Qwen2.5-1.5B-Instruct 的 GSM8K 实验中，固定选择器在 128 次更新下达到 0.6329 的质量得分，优于均匀采样的 0.5482 与格式反馈的 0.6037。
arXiv stat.MLAI 评分2828 基于 PU 数据的 partial AUC 最大化方法
针对负样本标注困难的问题，研究人员提出一种无需负样本、直接基于正样本和未标记（PU）数据最大化 partial AUC（pAUC）的新方法。该方法在经验风险最小化框架下，证明 pAUC 可仅用正样本与边际密度表示，并通过最大化推导出的平滑经验 pAUC 估计量来训练分类器。团队在 10 个真实数据集上验证了该方法的有效性。
arXiv stat.MLAI 评分3535 掩码重采样的隐藏优势：掩码自编码器理论
新理论研究证明，掩码自编码器（MAE）能在线性样本复杂度下恢复潜在特征，而等价于 PCA 的无掩码重构在该机制下失效。分析进一步量化了掩码重采样的统计优势，证实更高的掩码多样性能降低样本复杂度。去除常规图像增强的干扰后，动态掩码在 CNN、Vision Transformer 以及 BERT 的下游任务中均体现出性能优势。
arXiv stat.MLAI 评分3535 ChainLoRA：面向大语言模型持续学习的保几何任务向量合并框架
研究人员提出无重放持续合并框架 ChainLoRA，通过链式更新任务向量几何实现大语言模型的持续参数高效微调。该方法将链式更新训练与流后自适应 SVD 合并相结合，仅利用上一个载体维持常数级历史开销，并通过单侧正交代理与有效秩惩罚抑制任务间干扰。实验表明，ChainLoRA 在 Large 和 SuperNI 基准上取得了受测无重放方法的 SOTA 性能。
arXiv stat.MLAI 评分3636 Transferable Graph Metanetworks：可跨网络尺寸迁移的图元网络
研究者提出 Transferable Graph Metanetworks，通过在图元网络中引入函数表示不变性与连续性，实现了对不同宽度输入神经网络的跨尺寸泛化。该方法在采用最大更新参数化（$\mu$P）训练的输入网络上表现最优，在高达 42x 训练宽度下仍保持鲁棒。理论上，团队基于无限宽极限理论证明了其泛化保证，并阐明了其他参数化失效的原因。
arXiv stat.MLAI 评分2929 加权数据选择：上半区与五维精确法则
在最小范数学习器的有限加权最小二乘设定下，该研究证明了加权数据选择在 $\lceil3d/2\rceil\leq n\leq2d-1$ 区间内的精确风险法则为 $\Gamma_d(n)=3-n/d$。该数据集层面的完整上界与紧度构造已在 Lean 4 中完成形式化验证。此外，针对较小预算 $(d,n)=(5,6)$，研究进一步给出了精确法则 $\Gamma_5(6)=11/5$。
AWS Machine Learning BlogAI 评分3636 uniopen 如何定制 Amazon Nova 以适配零售审核策略生产部署
台湾统一企业集团旗下平台 uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调与提示词优化，以适配其定制零售审核策略。该架构使用 Amazon Nova 2 Pro 生成纠错候选并配合人工复核，基于 3,391 个训练窗口完成微调。结合硬门禁回归测试与软门禁预警机制，团队在 737 个测试窗口上评估并实现了受控的生产环境部署。
Apple ML ResearchAI 评分4646 RLTL;DR：通过内化自生成反馈实现自我改进
强化学习方法 RLTL;DR 通过让模型在失败后生成单条 TL;DR 洞察并内化映射，实现无解题示例下的自我改进。在 Pass@128 = 0 的高难任务中，该方法使 Qwen 3.5 9B Thinking 的 Pass@1 从标准 GRPO 的 0%–1% 提升至评测无洞察时的 12%–13%。仅用 4k 个（任务, 洞察）元组训练的 SFTL;DR 也几乎复现了全量 rollout 的性能。
arXiv cs.AIAI 评分3434 学会遗忘：面向 LLM 表示空间的分布遗忘
研究人员提出非参数分布遗忘框架 Mamushi，通过概率分类器估计对数密度比来筛选待遗忘样本，以消除大语言模型中的毒性语言或特定域内容。理论证明对总体对数密度比设定阈值可在固定预算下达到最优选择规则，并建立了非渐近迁移保证。在毒性语言与主题移除实验中，Mamushi 实现了更优的移除与保留权衡，减少了达成遗忘目标所需的样本量。
arXiv cs.AIAI 评分3535 OpenJev-RLCD：面向推理模型的可校准决策强化学习实现
研究者推出 OpenJev-RLCD，针对推理模型过度自信问题实现了一种基于严格真评分规则的可校准决策强化学习（RLCD）方案。该方法采用“先校准后强化”的两阶段训练策略，解决策略优化中的噪声与推理失效问题。在 Qwen3-1.7B 评测中，RLCD 准确率持平或超越 SFT 与 GRPO，并在选择性预测上击败所有对比基线，相关代码已开源。
arXiv cs.AIAI 评分4242 自进化算法设计智能体：通过群体精选策略优化打破上下文进化停滞
研究者提出群体精选策略优化（PCPO），通过学习自生成算法实现参数自进化，解决算法设计智能体的上下文进化停滞。在 EDA 任务中，仅在 4 个芯片案例上训练的 8B 基础模型 PCPO 跨 16 个案例超越 OpenEvolve，表现媲美 GPT-5.5。该方法不仅降低了推理 token 成本，还在 4 个 GPU kernel 设计上比 PyTorch Eager 基线平均加速 8.27x。
arXiv cs.AIAI 评分4343 UniEvo-VL：面向多模态模型自我提升的在线自蒸馏训练方案
UniEvo-VL 是一种多模态模型在线自蒸馏训练框架，让单一模型同时充当学生与基于自我纠错反馈的教师，在无需外部更大模型的情况下实现自我提升。基于开源模型 Qwen-image-2512 的实验显示，该方法将其 GenEval 得分从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 提升至 35.53。
arXiv cs.AIAI 评分3535 SimTrace：面向在线用户建模的多模态用户轨迹生成框架
研究人员开源了多模态用户轨迹生成框架 SimTrace，利用计算机使用客户端智能体生成高保真、细粒度的合成点击流数据。在电商环境评测中，SimTrace 在 8 项保真度指标中的 7 项超越基线，并在购买预测与推荐等下游任务上达到与真实数据相当的性能。在下一动作预测任务中，引入其合成数据增强使准确率相对仅用真实数据提升 11.0%。
arXiv cs.AIAI 评分4545 MetaPersona：基于实证社会科学构建任务导向的合成群体
研究团队推出 MetaPersona 框架，利用实证社会科学数据为大语言模型社会模拟生成任务自适应的合成群体。该框架依托包含 11,000+ 项研究的 MetaPersona-DB 构建依赖图并采样角色，使用 GPT-5.2 将单任务成本降至 $0.5 以下，在错误信息信念等评测中表现强劲。此外，团队还推出了原型交互界面 MetaPersona-Studio。
arXiv cs.AIAI 评分3535 通过上下文选择与目标加权微调扩散大语言模型
研究者提出离散扩散大语言模型微调方法 GoldiMask，通过最大化次模目标选择可见上下文 token，并对剩余预测目标进行加权。在 3 个骨干模型和 3 个训练数据集的评测中，GoldiMask 在推理与代码生成任务的大多数设置下取得了最高平均准确率。在置信度阈值并行解码下，该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。