通过免训练权重编辑抵抗有害指令
研究提出一种免训练权重编辑方法,仅需在少量提示词对上执行前向传播,即可直接修改模型权重以降低对有害指令的遵从度。在 5 个指令微调模型上的测试显示,该方法在两个蓄意说谎基准上使平均诚实回答率较最强替代方案分别提升 6.2 和 4.6 个百分点;针对性别偏见指令,它将平均偏见回答率从 57.9% 降至 24.3%,结合公平提示词可进一步降至 11.9%。
研究提出一种免训练权重编辑方法,仅需在少量提示词对上执行前向传播,即可直接修改模型权重以降低对有害指令的遵从度。在 5 个指令微调模型上的测试显示,该方法在两个蓄意说谎基准上使平均诚实回答率较最强替代方案分别提升 6.2 和 4.6 个百分点;针对性别偏见指令,它将平均偏见回答率从 57.9% 降至 24.3%,结合公平提示词可进一步降至 11.9%。
研究人员提出了利用健康工况关系进行传感器故障诊断与燃油读数校正的方案,以解决重型柴油车燃油消耗及二氧化碳排放估算失真问题。在涵盖 217 个稳态工况点的 31,500 个故障注入组测试中,该方法对 77.3% 的组发出诊断,准确率达 92.1%。在设定的 1 小时场景中,选定燃油校正将燃烧二氧化碳计算的平均绝对误差降低了 83.8%。
研究人员提出了多裁判集成策略 RaRE,用于改进将结构化标准作为强化学习奖励的 RaR 方法。RaRE 包含利用裁判 logprobs 对高置信度打分赋予更高权重的 soft-Likert 奖励,以及在 GRPO 更新中剔除高分歧样本的 drop-on-disagreement 机制。
研究发现大语言模型在 N-back 工作记忆任务中的性能瓶颈在于受干扰下的内容读出而非定位。研究团队测试了 3 个模型家族的 15 个预训练 LLM(70M 至 14B 参数)及从头训练的极小 Transformer,发现线性探测能近乎完美区分目标与诱饵位置,注意力头大多已准确关注目标。抑制非目标项目的干扰可显著提升敏感度(d'),且模型规模越大改善越明显。
研究人员提出结合内细胞团与滋养外胚层差异化形态编码的混合注意力网络(HAN)与逻辑回归(LR)集成模型,用于在小规模临床表格数据上预测IVF/ICSI鲜胚移植的活产结果。
针对少步生成模型的对齐难题,新研究提出噪声策略优化(NPO),通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率,推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中,NPO 性能优于直接微调,且推理成本比测试时搜索方法降低 16 到 549 倍。
研究者提出了用于时间序列预测的分解时空网络 DST-Net,针对时间序列的不同分解分量定制专用建模策略。该架构在趋势分支设计了 Latent Graph Block,利用潜在图建模捕获全局拓扑依赖与系统级联动;在季节分支引入高斯多尺度注意力机制,通过注入可学习的高斯先验聚焦多粒度局部上下文并过滤全局噪声。
研究者提出 Spectral-Spatial Interpretation(SSI),通过在固定周围上下文后对各空间位置的通道定义条件博弈并计算 Shapley 值,生成完整的谱空间归因矩阵。
研究人员提出了 SE(3) 等变自监督学习框架 SIEVE,以解决 3D 点云掩码自编码中标准掩码导致的拓扑崩溃问题。该方法核心采用球面投影掩码(spherical projection mask),在混淆局部语义的同时保留全局姿态,将点云几何压缩为不变标量嵌入向量。实验表明,所得嵌入在下游点云任务中优于基于坐标的基线与手工几何描述符,并在未见形状类别的泛化上取得最大增益。
研究人员提出用于限价订单簿(LOB)趋势预测的分值匹配框架 STOCHLOB,在训练中引入非高斯前向扩散扰动且部署时保持确定性预测。该方法采用跳跃-Lévy 噪声与截断 $\alpha$-稳定噪声,无需在推理阶段进行反向扩散采样。在 Coinbase 留出数据测试中,该方法在 BTC 和山寨币上保持竞争力,改善了尾部压力指标,相关代码已开源。
研究人员提出一种用于大语言模型算术推理的贝尔曼一致轨迹强化学习方法,通过轨迹贝尔曼残差最小化(TBRM)将稀疏奖励转化为密集的 token 级信号。该框架结合 RLOO 分组策略与后验目标重标记,在稳定梯度方差方面显著优于 GRPO。
研究者提出基于 Koopman 算子的框架 SALTO,通过求解器锚定的提升转移算子来推断有限振幅源。该方法将物理状态动力学锚定在求解器的线性化传播子上,构建可复用的提升伴随,只需单次编码与内积即可预测测量值。在三个非线性偏微分方程系统中,SALTO 的预测误差控制在 2-8%,相比误差达 41-165% 的传统伴随显著改善,并在反应扩散系统后验采样中将计算成本降至求解器的二十分之一。
研究人员提出了评测基准 INCONVENIENT,用于评估大语言模型等机器学习模型在便利样本偏差下的鲁棒性与泛化能力。该基准直接扰动训练分布中的特征与目标关系,同时保留原始总体分布作为部署环境,能明确控制关系偏移的方向与严重程度。该基准包含涵盖多个应用领域的 200 个表格分类与回归数据集,共生成约 15,500 个导致下游性能大幅下降的偏移训练分布。
研究人员提出 CausalEvo 方法,用于在固定模型权重与规则数量的前提下,通过因果评估任务反馈来决定医疗 LLM 智能体文本技能的保留与替换。在包含 120 个保留案例的 6 项 MedCalc-Bench-Verified 任务中,CausalEvo 达到 60.00% 的准确率,优于无技能的 51.67% 与 SkillOpt 的 55.83%。
研究提出面向分支定价割平面(Branch-Price-and-Cut)的学习型列预填充方法,利用神经网络构建非最优候选列池并预测 Wentges 平滑中心以加速根求解。在车辆路径求解器 RouteOpt 中,该流程在 95 个 300 至 1000 客户实例上仅需 13.2% 的定价时间即可达到相同认证下界,最高加速 17.5 倍,并在并行机调度中提速 12 倍。
研究者针对高斯先验的高斯多臂机问题提出了自适应采样算法 Halve-Then-Greedy(HTG),旨在固定预算下最大化推荐方案均值超过目标的后验成功概率。HTG 结合了大初始平衡分配、连续减半与后验贪心采样,其有限预算后验失败概率具有实例相关的指数界。理论分析证明 HTG 在单正臂族上达到渐近样本复杂度下界的对数因子匹配,且样本效率显著优于均匀采样和连续减半。
研究对比了视觉语言模型(VLM)后训练中的同策略知识蒸馏(OPD)与过滤 SFT,发现 OPD 会在学生模型访问的状态上同时继承教师模型的知识与失败模式。
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法,使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本,模型在监督微调与带延迟奖励的强化学习后,构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
研究人员提出一种结合熵增采样与答案混合的递归离线知识蒸馏方法,用于在无法完全访问教师模型内部表征时蒸馏推理链。该方法在 3-4B 开源模型上结合 70-72B 辅助中型模型按熵差采样推理链,并用单 token 真实答案补充思考轨迹。在相当的数据预算下,该方法平均得分达 57.15±1.01,优于原生知识蒸馏的 51.61,且展现出更陡峭的学习曲线。
研究者提出了首批具备亚线性遗憾(sublinear regret)的可复现对决多臂老虎机算法,要求两次运行在共享内部随机性且比较结果独立的情况下,每轮以至少 1-ρ 的概率选出相同的有序比较对。
研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。
符号博弈回归在模型误设的有界回归场景中,基于条件均值的 L1 距离实现了高概率 L1 神谕不等式,并在可实现情况下自适应于平均条件方差。理论证明该算法在适度学习中达成了最优的泛逼近因子 3,且没有任何适度学习器能突破该理论下界。分析结果已拓展至无限函数类,并在合成与真实模型选择任务中得到验证。
研究表明多数投票等自生成标签在强化学习中能逼近真实奖励效果,根本原因在于批次更新层面上跨提示词的标签错误缺乏方向一致性。实验测得单个提示词自身梯度占输出变化不足 1%,且多数投票与真实梯度的噪声校正余弦相似度在误差范围内为 1,随机翻转 30% 标签仍不破坏梯度方向。结果证明决定自生成标签能否替代验证的是错误一致性而非错误率,但真实奖励在最终准确率上仍具有局部优势。
研究发现不同有害任务微调导致的大模型涌现性未对齐(EM)共享了关键注意力头回路。研究人员基于 Qwen2.5-3B-Instruct 训练了医疗、金融和极限运动 3 个 LoRA 微调模型,定位出所有模型前 5 个关键头中重合的 3 个注意力头。
研究人员提出 CogDrift-4D 分层 4D Transformer 框架,用于通过连续多模态行为衰退轨迹检测轻度认知障碍(MCI)。该架构结合会话内最小二乘回归斜率与会话间递归交叉注意力反馈编码器,并引入 Quality Gate 动态过滤低完整度特征。
研究人员基于 NHANES 数据集(2011至2020年3月,24,983名成年人)构建了临床可解释的生物学年龄评估框架。该方法采用 CatBoost 回归模型结合44项异质临床特征估算年龄,在保留测试集上预测结果与实际年龄强相关(Pearson r = 0.798,P < 0.001)。团队通过自动化程序直接量化 SHAP 依赖图的贡献区间与过零阈值,将定性视觉分析转化为可复现的定量指标。
研究人员提出 SHRED 框架,无需人类驾驶演示或轨迹回放,仅通过从随机初始化开始的大规模异构自我博弈联合训练机动车、行人与骑行者。在 Waymo Open Sim Agents Challenge(WOSAC)中,SHRED 联合控制三类主体并超越了无演示基线及基于演示参考策略的先验方法,仅基于 nuPlan 地图训练的策略在 Waymo 零样本评估中仍保持相当的真实感。
研究表明投机采样在超长上下文中无需训练长上下文草稿模型,冻结现有的短上下文草稿模型即可运行至 200 万 token。该方法通过在推理时限制草稿模型的注意力缓存并重置旋转位置编码索引,无需改动模型权重。测试涵盖 3 组目标与草稿模型对及 5 个语料库,单一 vLLM 配置即可跨越 4k 至 200 万 token 且保持短上下文下的加速比。
一项新研究分析了扩散模型中带有低秩非线性项与线性跳跃连接的分数网络,揭示了秩约束对去噪分数匹配泛化表现的调控机制。基于三层网络和随机特征分数模型的实验与理论推导表明,增加秩会降低训练误差,但测试误差表现取决于样本量与数据维度。研究通过截断奇异值分解给出了精确的极限误差,指明数据子空间正交补的维度构成了自然的秩阈值。
研究人员提出通过信息增益奖励显式训练行动选择背后的推理过程,将序贯贝叶斯实验设计(BED)摊销到大语言模型中。该方法将实验生成模型与大语言模型自身信念解耦,在 Twenty Questions 基准上以显著更低的计算成本超越了训练期和推理期 BED 基线,并泛化到未见类别。研究还证实该策略能正向迁移至真实临床对话基准 Medi-Q。
研究发现基于任务阶段的 MoE 专家路由统计量无法有效指导 FFN 张量的分层混合精度量化。研究团队针对 Qwen-3.6-35B-A3B 构建了路由分析流程并计算综合敏感度分数,但在约 4.0 bpw 和约 2.7 bpw 等预算实验中,路由指导的重分配均未能超越均匀量化基线。实验表明路由行为统计量并非层级真实量化代价的有效代理指标,激进预算下还会引发显著的结构性损失。
研究人员提出一种统计集成方法(SEM),利用 O-RAN 的 E2 接口 KPI 遥测数据实现异构网络环境下的射频干扰检测。该方法融合自适应 MAD、计数异常检测及突变检测,支持零标注数据的冷启动模式和离线网格搜索调优的监督模式。
研究人员提出了 Gibbs-Gap 策略优化(GGPO),无需学习者与行为策略间的重要性权重即可在离线强化学习中训练大语言模型。实验表明,GGPO 在数学推理基准以及固定离线数据上均优于 GRPO 和 AGRO,并在策略过时度增加时保持性能稳定。消融实验显示,采用默认参考策略刷新调度的 GGPO 在五项基准问题加权平均分达到 46.58,远高于固定参考策略的 32.96。
一项新研究推导出高维持续线性回归在梯度下降训练下的泛化损失闭式解,证明单一或独立同分布教师任务下的最优固定步长随任务数 $T$ 按 $\ln T / T$ 衰减。该缩放下的泛化损失渐近等价于最优调优的各向同性 L2 正则化,研究还给出了对角正则化矩阵下最优正则项为各向同性的充要条件。相关理论预测已在线性模型与神经网络实验中得到验证。
研究人员基于公开的 MUSIN-G 数据集,将脑电(EEG)音乐喜好度预测建模为回归问题,并在 6 种深度学习模型上进行了跨听众评测。在 1 到 5 分的评分体系下,DeepConvNet、CNN-LSTM 和 GNN-CNN 取得了最低的平均绝对误差(0.97 至 0.99),而时序卷积网络(TCN)与喜好度评分的皮尔逊相关系数最高(r = 0.21)。
研究人员提出了基于自由权重 $M$-atom 最优量化的切片 Wasserstein Sketch 方法,利用 $L$ 个共享投影实现 $O(LM)$ 的比对时间复杂度,并给出了可计算的误差凭证。
研究人员提出一种路径式共形早退预测方法,无需 alpha/L 校正即可在自适应退出时提供选择安全的免分布覆盖保证。实验显示,在 8 个编码器任务网络组合中,该方法宏覆盖率达 0.901,而朴素层级选择仅为 0.814,平均集合大小为 1.41 且延迟比例降至 0.71。
研究人员提出一种多模态对比学习框架,将 EEG 脑电信号与冻结的预训练文本编码器嵌入空间对齐,以解码想象语音。该方法在包含 5 名受试者的 Chisco 数据集上覆盖 39 个意图类别,取得了与任务优化的闭集分类器相当的解码表现。此外,最大 EEG-文本余弦相似度(MaxCosine)可作为解码可靠性指标筛选高准确率样本,评估阶段的 5 个语义维度平均一致性均超过 50% 随机基准。
研究人员提出基于 Transformer 架构的异构联邦学习微调框架 Optimal Hydra,结合全局层选择与匹配本地数据分布的客户端注意力头选择,构建客户端专用子网络 Hydra-nets。该方法据称是首个专门面向 LLM 微调的模型异构联邦学习方案。在 3 个数据集上的实验显示,Optimal Hydra 相比基线方法取得显著改进,并降低了本地资源需求。
研究人员提出对抗参数分解(VPD)方法,通过将大语言模型参数分解为各自实现局部算法的简单子组件,以解释模型参数如何执行计算。VPD 优化分解过程,使得即使在对抗性消融大量子组件的情况下仍能保持网络的输入输出行为,在任意输入上仅需少量子组件即可解释模型行为。该方法通过研究参数子组件间的序列交互生成网络输出,支持构建一种新型“电路”分析。