Sean Parker 推动 Stability AI 转型，重点布局音乐 AI 工具
Stability AI 正将业务重心转向面向音乐专业人士的 AI 工具开发，由董事会成员 Sean Parker 与首席执行官 Prem Akkaraju 共同主导。公司获得来自索尼、华纳和环球音乐等机构的 7600 万美元融资及正版曲库训练授权，并已推出三款音频模型与音乐编辑软件。该软件支持通过文本提示生成完整器乐曲或短片段，后续更新还将支持哼唱旋律或节奏口技输入。
#数据/训练
#数据/训练
今日 0 条TechCrunch · AIAI 评分7272 arXiv cs.LGAI 评分3636 相同损失，不同梯度
研究表明，当概率目标依赖特殊函数递推与数值截断时，模型在同一学习状态下可能产生相同的损失却输出不同梯度，从而破坏前后向一致性并导致优化轨迹分歧。针对高维 von Mises-Fisher 学习中的梯度不匹配问题，研究者提出了固定深度的解析实现方法 AR/FR，联合构建势函数及其导数。该方法在非负浓度轴上对精确 Bessel 比值提供了一致的三阶误差界，保证了计算深度固定且保真度可验证。
arXiv cs.LGAI 评分3232 机器学习中的数值近似：多准才算足够准？
一项新研究提出通过学习目标本身来评估数值近似精度，揭示相同大小的原始误差在不同学习状态下会对损失、预测和梯度产生截然不同的影响。该研究针对 softmax 交叉熵建立了从原始误差传导至损失、预测及特征梯度的有限误差保证，可反求出给定要求下的可验证数值容差；高维 von Mises-Fisher 实验显示不同状态的容差可相差数个数量级。
arXiv cs.LGAI 评分3232 概率对比学习中共享温度是否意味着共享角尺度？
研究发现在高维分布概率对比学习中共享温度并不代表共享角尺度，ProCo 采用的精确 vMF 分数会保留类别相关的领先角增益。在 CIFAR-LT、ImageNet-LT 等数据集的 16 个冻结表示设置中，该理论预测一致性达 98.43-99.99%。受控训练表明，Pure Angular 编辑有效改善了 CIFAR-10/100 各不平衡因子及 ImageNet-LT 的表示学习。
arXiv cs.LGAI 评分3838 蒸馏扩散分数差异以实现高效训练数据归因
研究提出扩散模型训练数据归因方法 TID 及蒸馏版本 TIDE，无需重训即可根据局部分数差异高效溯源样本。TID 适用于 DDPM、EDM 与 flow matching，采用 Kronecker 分解曲率免去逐样本梯度存储。在 CIFAR-10、ArtBench-10 与 MS-COCO 评测中，TID 达到 SOTA，TIDE 将查询成本降低 4 到 5 个数量级并实现毫秒级归因。
arXiv cs.LGAI 评分3333 遗忘中的学习：随机训练动力学中的统计支持选择性保留
研究者提出了重复强化与持续遗忘（RPF）动力学框架，将遗忘作为选择机制以解释神经网络的选择性保留行为。该理论推导出特征保留边界，证明遗忘会诱导谱滤波以抑制弱成分，并在小步长近似下产生类似最小描述长度（MDL）的压缩权衡。标量记忆与非线性网络实验验证了该机制，表明其可作为超越网络架构与规模的可控归纳偏置。
arXiv cs.LGAI 评分4242 dattri-LLM：面向大语言模型规模训练数据归因的统一高效库
开源库 dattri-LLM 面向大语言模型规模提供高效训练数据归因（TDA），可在 4 张 H200 GPU 上将多种归因方法扩展至 110B 参数模型。该库无需修改训练循环即可兼容 DDP、FSDP 以及 HuggingFace Transformers、TRL 等流程，平均吞吐量达同类最快库的 3.2x。其支持梯度相似度、曲率影响力和在线数据选择等多种方法与应用，代码已开源。
arXiv cs.LGAI 评分4646 超越困惑度：抽象预训练对语言模型的持久影响
新研究发现，在小型语言模型预训练初期仅将 1% 的 token 用于抽象堆栈操作任务，即可在模型困惑度相当的情况下，将 MUSIQUE 多跳问答 F1 最高提升 3.9 分，同时改善 HOTPOTQA 和 2WIKIMULTIHOPQA 表现。该热身训练显著加速了深层顺序推理链的习得，且该优势能在后续数十亿自然语言 token 训练中持续保持。
arXiv cs.LGAI 评分3434 直接偏好优化（DPO）的不确定性归一化边际方法
UNM-DPO 算法将偏好强度边际与可学习的提示词尺度相结合，解决了传统 DPO 无法显式建模偏好强度与提示词不确定性的问题。基于 Llama-3.1-8B-Instruct，引入长度归一化的 ULNM-DPO-WR 在 HelpSteer2 和 HelpSteer3 对阵 DPO 分别取得 68.00% 与 65.31% 的平局调整胜率，且生成文本更短。
arXiv cs.LGAI 评分4949 通过对抗探针训练实现大模型对齐且不丧失可监控性
研究提出探针引导微调（probe-guided fine-tuning），直接利用检测模型内部激活不良属性的探针作为训练信号以实现对齐。采用持续更新探针的方法比 DPO 和推理期引导具有更好的安全与实用性权衡，且能更强力地防御越狱和 abliteration 攻击。微调后相关概念仍保持线性编码，确保了对模型内部表征的可监控性。
arXiv cs.LGAI 评分3535 岭回归中 Fresh Sketching 的理论与算法优势
研究证明在迭代岭回归中，每步采用全新随机草图（Fresh Sketching）相比复用草图具有可证明的优势，能仅针对当前残差解分析误差并提供更严格的收敛保证。基于最小化草图矩阵-向量积方差，该研究推导出了残差感知采样规则及混合采样近似方案。在合成数据以及基于 Qwen2.5 表征的岭探针实验中，该方法均展现出显著更快的收敛速度。
arXiv cs.LGAI 评分3535 当平坦度代理不是函数时：鲁棒性认证与训练干预
研究表明最后一层的相对平坦度代理即使作为有效曲率上界，也无法直接转化为鲁棒性认证或内在训练干预。经验风险驻点无法消除逐点一阶损失项，导致已有认证对损失增加的低估超过 210 倍，研究为此推导了规范不变的特征空间修复方案。同时行中心化可解决 softmax 平移带来的代理无界问题并恢复梯度不变性，该结论在 45 组测试与 CIFAR-10 实验中均获证实。
arXiv cs.LGAI 评分3737 ReLaG：面向潜在关系数据的可扩展划分框架
开源框架 ReLaG 针对含潜在关联的数据集，通过分层潜在变量过程、邻近图与社区检测推断关联样本，以划分出相互独立的训练和测试集。在分子与蛋白质数据集上，ReLaG 匹配现有关系感知方法且扩展性更佳，支持自适应生产数据的无标签划分与有效数据量评估。项目已开源，可通过 `pip install relag` 安装。
arXiv cs.LGAI 评分4242 重新审视奖励优化的缩放定律
最新研究提出了 AI 对齐中奖励优化的联合缩放定律，证明模型性能与偏好训练数据量 M 及 KL 散度预算 K 呈 $\Theta(\sqrt{\min\{\log(M),K\}})$ 缩放关系。在 70B gold 奖励模型生成数据与 0.6B 至 4B 代理模型的实验中，该定律拟合度 $R^2$ 达 97% 至 99%，在 Best-of-N 与 policy tilting 优化下均保持稳健。
arXiv cs.LGAI 评分3535 统一多模态模型中梯度冲突能预测理解与生成的权衡吗？
一项基于对照测试平台 GRIDUMM 的审计研究发现，统一多模态模型中的梯度冲突指标无法预测理解与生成任务间的最终权衡。在 63 种配置和 372 个检查点中，方向冲突指标与权衡的绝对 Spearman 相关系数均未达到 0.3，且单调抑制冲突并未改善权衡。这表明冲突指标缺乏直接因果效力，其诊断价值须经严格检验。
arXiv cs.LGAI 评分4242 预训练与中训如何让奖励具备可学习性？
新研究揭示了预训练与中训如何提供基础信息与计算能力，使后续奖励自适应有效发挥作用。基于 Qwen2.5 权重的实验表明，在 8 个世界测试中，经正确源监督训练的模型成功率达 82.61%，远超对照组的 44.15%。该研究还在独立测试中取得 75.32% 任务成功率（对照组为 49.86%），并在 GSM8K 与 HotpotQA 上验证了奖励引导学习机制。
arXiv cs.LGAI 评分4242 GENSCRIPT：面向表格、时序与关系型合成数据的纯推理管线
GENSCRIPT 是一种无需模型训练的纯推理合成数据管线，统一支持单表、时序与关系型数据。它基于源数据的统计特征，由大语言模型与 coding agent 编译生成可执行采样器，在 4 个单表 benchmark 上 2 分钟完成构建并在 6 秒内采样 50k 行。测试表明其边际保真度接近领先方法，并能完美保留数据集的列间 1-to-1 映射及主外键约束。
arXiv cs.LGAI 评分3434 自监督学习中哪些下游任务得以保留？
该研究通过“语义可恢复性”刻画同实例自监督学习（SSL）中哪些下游任务信息得以保留。理论证明在中心化和白化表征下，可恢复性直接决定定向类间距归一化方差（CDNV）并控制少样本最近质心分类，且双视角目标的优化可转化为闭式谱特征。相关预测已在合成与真实数据集及多种 SSL 方法上得到验证。
arXiv cs.LGAI 评分3434 论同策略蒸馏中的异策略教师问题
针对同策略蒸馏中教师面对学生生成前缀续写性能下降的异策略问题，研究人员提出了协同训练框架 SCOUT。该框架结合带可验证奖励的强化学习周期性优化教师模型，使其学习从学生前缀进行续写。实验表明，SCOUT 提升了教师在学生前缀下的续写能力，并在多种模型规模和推理领域中持续增强了同策略蒸馏效果。
arXiv cs.LGAI 评分3434 基于可回收单元门控的循环神经网络动力学系统持续学习
研究人员针对循环神经网络的持续动力学系统重建（cDSR）问题，提出了持续可回收单元门控（CRUG）方法。该方法利用基于 $L_0$ 惩罚项训练的可微门控分配任务特定单元并回收未用单元，通过有向连接实现前向表征复用且不干扰已学习系统。实验表明 CRUG 实现了零遗忘与最优的重建与容量权衡，能可靠学习非线性和混沌系统序列，并可拓展至连续认知任务。
arXiv cs.LGAI 评分3535 激活条件自蒸馏（ACSD）
研究者提出激活条件自蒸馏（ACSD），通过对比自生成轨迹的激活提取导向向量指导学生模型，无需参考文本或更新教师参数即可提供密集推理监督。ACSD 在 5 个模型上均取得最高平均数学准确率；在 DeepSeek-R1-0528-Qwen3-8B 上，数学平均准确率达 71.9%，LiveCodeBench v6 pass@12 达 70.9%，均高于 OPSD 基线。
arXiv cs.LGAI 评分4444 Hermes：学习上下文推理释放测试时扩展能力
研究团队提出测试时扩展控制框架 Hermes 及两阶段训练框架 Hermes-Learn，将跨上下文窗口分配与信息复用的决策权交给模型本身。Hermes-Learn 能够弥补较小开源模型利用额外推理算力的不足，使其掌握随问题与推理进度自适应的上下文推理策略。该能力可跨模型与评测基准泛化，并外推至训练未见过的推理计算规模。
arXiv cs.LGAI 评分4040 EHR2Trace：面向患者世界模型与临床智能体的可审计 EHR 数据基础设施
EHR2Trace 将多源电子健康档案转换为可追溯的患者事件，为患者世界模型与临床智能体提供可审计的数据基础设施。系统在三个临床数据集上转换了 8.464 亿个事件，支持 OMOP 和 MEDS 导出，并成功检出全部 28 个注入故障。受控实验表明，严格区分事件发生与信息可用时间，能有效避免因后期诊断提前导致的模型评估性能虚高。
AWS Machine Learning BlogAI 评分4646 在 Amazon SageMaker AI 上使用多轮强化学习微调搜索智能体
Amazon SageMaker AI 支持通过多轮强化学习（MTRL）微调搜索智能体，并在实践中完成了对 Qwen3.6-27B 模型的端到端训练。该方案针对跨步骤的完整轨迹优化决策，使模型能自主协同调用 BM25 词法搜索与向量搜索工具。平台还提供按 token 计费的无服务器执行模式，并原生集成了 PPO、CISPO 与 GRPO 等算法。
Apple ML ResearchAI 评分3535 强化语言判别可提升多语言语音模型的语言学学习效果
在预训练中强化语言判别能力可显著缩小多语言语音模型与单语言模型的性能差距，并保留跨语言共享。在英法双语 HuBERT 实验中，引入辅助分类器或分语言 k-means 目标后，音素判别错误率从 11.6% 降至 10.4%（单语言为 10.8%），词汇与韵律指标显著改善。干预在第一迭代阶段引入收益最大，后期引入收益递减并加剧语言隔离。
arXiv cs.AIAI 评分5050 评估大语言模型生成的偏好分布
研究团队系统评估了大语言模型在航空旅行、餐饮和消费品领域的偏好分布生成能力，发现模型虽具备高度自一致性，但在不同模型族与尺寸间存在显著分歧。该现象在 9 个开源模型和多种扰动测试中均成立，表明生成结果受模型选型的影响远大于提示词措辞，挑战了用大语言模型替代问卷受访者的通用假设。
arXiv cs.AIAI 评分3535 RISED：基于评分准则的智能体多环境选择与自蒸馏框架
研究人员提出用于多环境 LLM 智能体训练的 RISED 方法，在多个模型骨干上取得最高平均通过率，且在每个独立环境中均排名前二。该方法利用跨环境共享的评分准则（rubrics）对行为进行标注，以此指导在线数据选择并减少重合。正面准则作为特权上下文用于同策略自蒸馏以提供 token 级监督，负面准则则引导模型规避重复失败模式。
arXiv cs.AIAI 评分3434 PG-SFT：在离线智能体微调中平衡能力获取与保留
研究人员提出特权引导监督微调（PG-SFT），利用智能体轨迹的轮次级信息增益调节监督强度，以平衡离线智能体微调中的新能力获取与既有能力保留。实验表明，PG-SFT 在仅付出轻微目标任务性能代价的情况下，显著减少了分布漂移，有效遏制了基座模型在通用推理、工具调用和代码生成等广泛能力上的退化。
arXiv cs.AIAI 评分3535 基于零空间投影的 LoRA 微调 LLM 后门净化方法
新研究提出一种基于零空间投影净化 LoRA 微调 LLM 后门的方法，无需先验触发器知识、干净参考样本或事后重新训练。该方法通过提取高保真后门方向，在层或注意力头的输入与输出通道构建正交零空间并投影 LoRA 更新。实验显示，该方法将攻击成功率（ASR）从近 100% 降至 10% 以下，同时保留基座模型性能与适配器习得的下游能力。
arXiv cs.AIAI 评分3838 基于专家隔离与关停的 LLM 后门遏制方法 QES
研究人员提出基于专家隔离与关停（QES）的大语言模型后门遏制方法，在训练中将后门行为主动引流至指定的隔离专家模块中。部署阶段仅需将该隔离专家的路由权重置零即可消除后门风险，无需筛查输入触发器或再次更新模型权重。实验表明，QES 在 4 个模型族上将攻击成功率 ASR 从 100% 降至 0-10%，同时保持了下游通用任务能力。
arXiv cs.AIAI 评分4545 大语言模型（LLM）的数学迁移更依赖推理方法而非主题
大语言模型（LLM）数学微调的能力迁移主要取决于解题思路而非知识主题，同推理方法训练的效果显著优于同主题。在 5 个基座模型全部 40 组对比中，同推理方法相比同主题的模型级优势在两项实验中分别达 8.2 至 16.2 与 12.0 至 16.0 个百分点。尽管同主题样本在 embedding 和词汇相似度上更高，实际数学迁移仍由解题思路主导。
arXiv cs.AIAI 评分4141 冲突监督改变模型承诺而非能力：12.29σ 排列效应在规范无关评估下为零
研究表明在两种不兼容规范下训练模型时，数据排列顺序仅改变模型对特定规范的偏好承诺，而不影响其能力。实验中 acc_A+acc_B 保持在 9.7% 恒定范围内，而规范分配份额跨越 0.04 至 0.87，导致 12.29σ 的排列效应在规范无关指标下完全为零。在 prompt 中标记规范可消除此切换并达到联合上限的 87.5%。
arXiv cs.AIAI 评分2929 Build2SPARQL：用于建筑知识图谱查询的大规模 Text-to-SPARQL 基准数据集
研究者推出了面向建筑知识图谱的大规模 Text-to-SPARQL 基准数据集 Build2SPARQL，涵盖 201 个建筑知识图谱、6,136 条可执行 SPARQL 查询与 30,680 个自然语言问题。该数据集由图遍历代码生成并验证查询，仅由大语言模型生成问题。在三款开源权重语言模型的检索增强评测中，精准匹配率从零样本的 0.2-20% 提升至检索三样本的 56-65%，数据集已公开发布。
arXiv cs.AIAI 评分3535 对话幽默大语言模型训练中的奖励作弊与对策研究
一项新研究针对大语言模型的对话幽默训练，揭示了基于意外感与受众笑声预测的自动化奖励易受乱序词和笑声线索作弊的问题。研究团队在引入流畅度过滤和线索归一化对策后进行三轮强化学习训练，最终使综合评估分数提高 0.0903 并将 0 分会话减少 40%，但幽默专项改进仍低于预注册目标。
arXiv cs.AIAI 评分3535 面向个性化偏好优化的梯度对齐偏好对选择
针对大语言模型个性化对齐需求，研究提出 GAP-DPO 迭代算法，通过效用感知与几何对齐的偏好对选择优化偏好学习。该算法分析了期望用户效用梯度与 DPO 更新方向的一阶交互，并借助逐轮重新生成控制分布偏移。在个性化文本生成基准测试中，GAP-DPO 相比标准 DPO 变体在风格保真度、偏好对齐度和生成质量上均有一致提升。
arXiv stat.MLAI 评分4646 无需模型：文本熵率过滤缓解迭代微调中的模型崩溃
研究提出一种基于非参数 Kontoyiannis 熵率估计器 hk 的无模型过滤方法，仅依据原始文本匹配长度统计筛选合成数据，以缓解迭代微调引发的模型崩溃。在 Llama-3.1-8B 的六代 QLoRA 实验中，hk 过滤使独立三元组增加 42%、词汇量增加 30%，重复率降低 19%（均 p < 0.001），显著优于无显著收益的 logprob 过滤基线。
arXiv stat.MLAI 评分3030 稳定边缘下可分逻辑回归的紧致转换时间界
研究人员推翻了关于线性可分逻辑回归在稳定边缘（Edge of Stability）下转换时间与步长无关的既有猜想。针对大常数步长 $\eta$ 的梯度下降，研究证明在固定样本量 $n \geq 2$ 且间隔充分小时，任意 $d \geq 2$ 维度下的最坏情况转换时间紧界为 $\Theta((\log\eta)^{\min\{n-2,d-2\}})$。
arXiv stat.MLAI 评分3434 信号-噪声分解将干扰变化隔离至可移除子空间
研究提出强化信号-噪声分解（SNF）的正则化方法，将噪声干扰隔离到独立子空间中，显著提升了模型对分布外图像畸变的鲁棒性。在 CIFAR-100 及带有 5 级 MedMNIST-C 损坏的 BloodMNIST 数据集上，SNF 正则化均优于 $L_2$ 基线，而强化信号-信号分解（SSF）未见提升。通过在留出数据上估计并投影消除该子空间的主导损坏方向，可进一步大幅提高推理准确率。
arXiv stat.MLAI 评分3636 SGD 方法的精确信息核算
新研究提出针对 SGD 及其变体的精确信息论分析，证明预条件 SGD 步对应高斯贝叶斯模型的后验均值更新，其单步 regret 可精确分解为内在时间成本与比较器信息变化。该恒等式统一涵盖了凸收敛、鞍点逃逸、平坦度与泛化关联及自适应优化器，并在真实网络实验中成功区分出达到相同训练损失的不同优化器。
arXiv stat.MLAI 评分3434 VANDAM：基于 DNA 分子先验观察核苷酸序列
研究人员提出基因组基础模型训练框架 VANDAM，通过引入生物物理模型估计的 DNA 分子先验，弥补掩码序列预训练对生化与物理结构属性建模的不足。该框架在自监督训练中预测区域分子属性并在有标签时注入局部特征，在 4 种架构体系和 9 个留出基因组任务上均持续提升性能。探测实验表明其表征还能泛化至未见分子属性。