Genesis Steering:利用训练数据提升大语言模型激活转向效果
研究人员提出名为 Genesis Steering 的激活转向方法,通过从模型自身的微调数据中提取对比样本来构建转向向量,并在训练数据不可用时借助成员推理识别可能的数据构建代理集。在开源微调数据的 Tülu-3-8B 及对照模型 Llama-3.1-8B-Instruct 上的评测显示,来自训练混合集的安全数据转向效果优于外部数据集。
研究人员提出名为 Genesis Steering 的激活转向方法,通过从模型自身的微调数据中提取对比样本来构建转向向量,并在训练数据不可用时借助成员推理识别可能的数据构建代理集。在开源微调数据的 Tülu-3-8B 及对照模型 Llama-3.1-8B-Instruct 上的评测显示,来自训练混合集的安全数据转向效果优于外部数据集。
研究者提出上下文信用策略优化(CCPO),通过上下文相似度加权跨轨迹对齐样本,并结合历史信用与未来信用为长任务中的单步动作分配更精准奖励,无需额外的价值评估网络(value critic)。
研究人员提出反射反馈驱动提示词优化(RFDPO),通过追踪单项层面的修复、退步与结果翻转(churn)指导优化,揭示综合准确率掩盖的模型行为变化。在 GPT-5 优化、GPT-4o-mini 与 GPT-4.1 Mini 求解的五项基准测试中,9 种配置里有 5 种的 churn 至少达到净变化的 5 倍。
研究者提出了面向连续流语言模型的强化学习后训练框架,可直接反向传播验证器奖励。该框架引入能评估中间 token 嵌入价值的 critic,绕过不可微的离散解码步骤以获得方差远低于 REINFORCE 的路径梯度,并从每个 token 表示预测价值来优化策略。实验显示,该方法在 4 项推理任务上稳定提升了连续流语言模型表现,并优于同类基线。
研究者提出了多层粒子边缘 Metropolis-Hastings(MLPMMH)方法,将超参数伪边缘推断与跨网络宽度截断层级的分层序列蒙特卡洛相结合,解决神经网络参数与先验超参数的联合推断难题。
研究人员探讨了 DiLoco 等跨数据中心大语言模型训练中内部优化器对副本扩展性的影响,指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响是决定扩展性能的两个关键因素。基于白化的预条件处理被证明是内部优化器的关键特性。实验表明,基于白化的内部优化器在 8 到 96 个副本下均实现了强大的扩展性能,且随着参数与数据的扩展,其相较于数据并行的表现进一步提升。
研究团队提出一种面向复杂演化推断的条件深度生成模型族,基于离散扩散框架通过自顶向下、由内向外或自底向上范式迭代构建系统发育树。在最多 65 个分类单元及超过 10^5 个 token 的数据集上,其恢复 MCMC 后验分布的精度优于此前 SOTA 方法 Phyloformer 2。相比传统工具 IQ-Tree,该模型在复杂真实数据上的推断更为准确。
研究对比了主动推理(AIF)与 Bayes-UCBVI 的探索机制,发现原始 AIF 的信息增益衰减过快会导致贪心智能体错失最优动作。通过平方根校准后,calibrated AIF 在精确抽象下可达到 $\sqrt T$ 阶遗憾界,但固定奖励下并不优于 Bayes-UCBVI。
研究人员提出结合组合多重网格(CMG)谱图粗化与粒子多项式松弛(PPR)的非凸优化流程,用于解决 MAX-CUT 初始化敏感问题。在 t2g20 基准上,CMG+PPR 平均达到最优解的 97.5%,加入离散局部搜索微调后在全部 60 个 Biq Mac 算例上均达到已知最优解。借助稀疏 CSR 表示,该方法可扩展至达 20,000 个顶点的 G-set 算例,显存占用最多减少 3333x。
研究人员提出将输入损失曲率(即训练损失 Hessian 矩阵的 Frobenius 范数)作为免采样的有效代理指标,用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据;同时结合反事实记忆定义证明,留一模型的输入曲率直接控制样本的反事实记忆程度,在损失局部特征与样本生成概率间建立了理论关联。
研究人员通过开源模型 Pythia 和 OLMo 的中间检查点,系统探索了大语言模型在训练过程中的语言习得动态。实验表明,模型习得形态结构的时间远早于语义嵌入向量的稳定期。此外,训练数据集规模对分歧识别具有积极影响,而预训练期间的共现和推理期间的重复则会对分歧识别及联想链接生成产生负面作用。
研究人员针对可重用资源的在线任务分配问题提出闭式索引策略 Lag,将其建模为上下文多臂老虎机并通过对偶求解实现渐近最优。在同行评审与呼叫中心路由等评测中,Lag 索引策略在各负载水平下达到 LP 上界的 83-99%。相比自然贪心策略,该方法在期刊数据集上的奖励提升最高达 12.3%,在结构化合成用例中提升达 36%。
研究人员提出名为 WAPA 的福利感知偏好采集框架,通过优化个体监督效用的社会福利目标,在有限人类反馈预算下显式分配标注资源以实现多元对齐。实验表明,该方法在 6 个 Roleplay 集合和 4 个 OpinionQA 区域中实现了可控的资源权衡,并提升了对已知与未知个体的偏好预测能力。
研究者提出无需路由器的混合一秩专家方法 SQUELCH,通过软阈值过滤高斯底噪让每个 token 动态调整激活秩,且不增加额外可训练参数。在 LLaMA-3.1-8B、千问(Qwen3)和 DeBERTaV3 上的评测显示,SQUELCH 较传统 LoRA 提升 2.2-3.2 个点,在平均仅激活 32 个组件中 8.6 个的情况下超越最强混合基准 0.8-1.2 个点。
研究人员提出了一种结合前序效用预测的 IR-PRM+ 算法,在有限双人零和矩阵博弈的同步与交替更新下均实现了常数级外部遗憾界。该方法可保证 O(T^{-1}) 平均对偶间隙与 O(T^{-1/2}) 最佳当前迭代间隙,且当前策略组合收敛至纳什均衡集。同时,对应的 IR-PCFR+ 变体也将类似理论保证拓展到了完美记忆的扩展型博弈中。
研究人员通过室内布局生成器与开源近似光线追踪器构建流水线,生成 128M 合成样本来预训练 ResNet-101 与 Swin-T 编解码器模型,以解决室内路径损耗预测中真实测量数据与精确模拟器匮乏的问题。
研究发现图像自蒸馏模型中样本重复对下游性能的影响因数据集而异,在部分场景下对较小随机子集重复训练的表现甚至优于使用更多唯一样本。基于 Maxar、Waymo、ImageNet 等数据集的实验,研究团队提出了一种改进的 Chinchilla 风格扩展定律,明确计入唯一样本量与单样本重复次数。该框架为理解数据与算力权衡提供了支持,同时还分析了子集选择和数据增强对下游性能的影响。
研究者基于局部信任域优化直接从蒸馏目标推导 token 效用,并提出连续、均值归一化的 token 加权方法 Fisher Utility Weighting(FUW)。
针对未测基因组合效应的预测难题,研究人员提出通过对比模型预测与单基因效应相加的基线,构建度量额外相互作用的加性差异指标(AD)。在 8 种预测方法和 3 个 Perturb-seq 数据集上的评测显示,专用神经预测模型并未始终超越简单的加性基线,且偏离加性基线越大的预测往往误差越大。该指标相比传统置信度信号表现更稳定,可用于指导智能体扰动筛选流程的决策。
研究人员在一项针对冻结蛋白质编码器的受控基准评测中发现,现有的视觉类增量学习(CIL)方法无法可靠迁移至蛋白质表征。该基准涵盖 9 种代表性 CIL 方法、5 种蛋白质编码器和 2 个不同规模的酶功能数据集。诊断分析表明失败源于梯度稳定性信号弱、嵌入几何高度异质以及协方差假设失效,未来蛋白质持续学习需采用感知编码器几何特性的方法,相关代码已开源。
研究人员提出一种基于仅有答案数据的逆向推理模型自蒸馏方法,通过条件生成思维链(CoT)轨迹实现高效后训练与验证。在 Qwen3-0.6B 的 Countdown 和 GSM8K 实验中,该方法单轮离线蒸馏使困难提示词的 pass@1 翻倍,并在多项尾部指标上超越拒绝采样自蒸馏。
LOTUS 提出基于预测对齐(forecast grounding)的时序大语言模型预训练方法,通过将时域与频域 patch 特征映射至 LLM 嵌入空间并预测下一个 patch,促使表征保留时序演变结构。
研究人员提出全息量子电路采样(HQCS),通过结合电路中途测量、量子比特复用与独立参数化时间块,使用固定数量的量子比特生成时间序列轨迹。理论上,HQCS 针对特定损失方差证明了反多项式界,避免了指数级损失集中,并将特定非平稳过程的精确生成门数量从二次方降为线性。仿真实验显示,HQCS 学习历史波动率指数(VIX)轨迹的最大均值差异比测试的经典基准低 10 倍以上。
研究提出一种结合生成式 AI 与形式化验证的开发方法,旨在降低人工核验量子线路正确性所产生的“信任成本”。该方法将实现划分为目标数学规范、量子线路,以及证明两者一致的对应定理与证明,使人类仅需审查规范与定理陈述,而将定理证明交由机器自动核验。研究以随机粒子系统时间演化的实现作为具体范例展示了该方案。
研究人员针对希格斯玻色子事件分类评估了量子支持向量机(QSVM)与变分量子分类器(VQC)的样本规模扩展性及表征敏感度。模型基于 ATLAS 挑战赛模拟数据,在 250 至 4000 个事件的平衡子集上结合 PCA 与自编码器降维进行训练,并以 4 种经典分类器为基准。结果显示较大样本下 QSVM 表现优于 VQC,但两者仍落后于表现最佳的经典分类器。
研究表明通过量子 Fisher 信息(QFI)度量优化量子参数后,量子储备池计算在相同读取成本下相较经典储备池展现出量子优势。在 Mackey-Glass 预测任务中,含 1 至 3 个原子的驱动 Jaynes-Cummings 储备池在 4 至 30 个训练权重规模下留出误差降低 25-69%,领先 99.5% 的经典随机网络。
研究提出基于 Hopf ansatz 的量子反向传播方法,利用逆向 Hopf 框架和相位校准受控反射,通过复用有限测量记录实现完整参数梯度的反向计算。对于包含 $M$ 个实值参数的完整图谱,全局方法的执行采样次数为 $\mathcal{O}(\log\log M)$,检查点方案则为 $\mathcal{O}(\log M\log\log M)$。
研究表明量子 Fisher 信息矩阵(QFIM)的有效维度反映的是电路几何特性,而非混合量子神经网络(QNN)的模型质量。实验显示其与测试准确率的相关性在 -0.72 至 +0.87 之间波动,且在半数配置中会随随机种子改变正负符号;在固定电留下,初始有效维度为 6 至 9,但 CIFAR-10 准确率跨越 23.14% 到 86.44%。
研究人员提出了用于量子储备池计算的多线性读出方法 ML-QRC,通过沿各模式投影保留时间步、量子比特与可观测量构成的张量结构。在指定配置下,ML-QRC 相比全稠密 MLP 减少了 12.0 倍参数,特征块压缩达 12.1 倍。实验表明其在 TFIM 相分类全数据测试中取得最高准确率,并在 Mackey-Glass 预测中显著改善了神经读出在低数据场景下的稳定性。
量子视觉 Transformer(QViTs)的数值图像分类实验表明,其验证损失可由量子比特数、Transformer 深度和训练数据集大小构成的联合平移幂律模型良好描述。在等效预测性能下,增加量子比特数能够弥补经典编码器参数量的减少。该发现印证了量子学习模型在参数效率上的优势,为量子机器学习探索资源节省提供了新方向。
研究人员利用基于 AI 的蛋白质设计工具,提取了两种蛋白酶的催化核心并重构其蛋白骨架,设计出可定向切割特定蛋白质的工程酶。实验验证了这些合成酶能精准切断与神经系统疾病相关的目标蛋白质,改变了以往依赖生物自然演化获取特异性蛋白酶的路径。
微软等机构在 Nature 发表研究并开源机器学习工具 PBC(Probabilistic Bias Correction),用于提前 2 至 6 周的天气预报偏差校正。该方法通过算法识别并修正模型在应对气候变暖等情境下的系统性误差,无需重训完整模型且仅需在 CPU 上运行。测试显示其改善了 ECMWF 物理模型 98% 的降水与 92% 的气温预测目标,目前正与肯尼亚气象部门合作进行落地测试。
研究人员提出一种轻量级方法,直接利用预训练语音编码器中的帧级语言信息检测语音中的语码转换(CS)。该方法通过单语录音识别语言选择性隐藏状态维度,并聚合其激活状态进行预测。在 CS-FLEURS 的 14 种语言对测试中,Whisper-small 编码器取得 0.798 的平均 F1 分数,优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。
Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
研究人员提出概率偏差校正(PBC)机器学习框架,用于改善动力学模型、AI 及混合系统的 2–6 周次季节天气预报。该框架通过并行动行 Debias ++ 与 Persistence ++ 两个模型,自适应学习并校正预报概率分布的系统性误差。PBC 适用于任意输入模型,在 ECMWF 的 AI Weather Quest 实时竞赛中超越了全球主流预测系统的表现。
研究人员通过整合分析拓展了神经元微外显子图谱,并构建出能够刻画微外显子剪接关键序列元件的机器学习模型,用于预测遗传变异对其调控的影响。该研究在人类组织和单核 RNA-seq 数据中新检测出 1,514 个微外显子,其中 292 个在神经与非神经细胞间呈现差异剪接。结果揭示了主要影响神经系统生物学及神经发育障碍相关基因微外显子的罕见人类遗传变异。
发表于 Nature 的一项研究利用人工智能对人类棕色脂肪组织(BAT)活性进行了量化与分析,揭示了 BAT 与更健康代谢特征及更低精神疾病发病率之间的关联。该方法还能用于识别有望通过老药新用来激活人体棕色脂肪的药物候选。
研究人员利用 RFdiffusion 方法从头设计出具有水激活锌催化活性中心与邻近肽底物结合口袋的蛋白质,成功获得了高活性且可编程的金属蛋白酶。该成果展示了计算设计复杂水解酶的能力,在药物治疗、生物技术及生物修复等领域具备应用潜力。
华盛顿大学 David Baker 团队等在《Nature》发表论文,利用 RFD2-MI、ProteinMPNN 与 AlphaFold 3 组成的迭代计算管线实现了半胱氨酸蛋白酶的从头设计。实验验证了人工设计酶的催化剪切活性与晶体结构,并通过序列优化获得了 Dokki-15 与 Dokki-v2 等高活性变体。相关计算设计与生化分析代码已在 GitHub 开源。
一项针对天基甲烷检测开展为期一年盲测评估的研究公布了相关实验数据与代码。团队提供了合作阶段 0 与各盲测阶段的地面计量流量、气象及云覆盖图像数据。参测卫星的光谱图像未由团队直接收集,需通过公开或商业平台获取,论文图表复现代码已一并开放。