基于强化学习的固态量子比特量子控制
研究人员通过仿真分析了无模型强化学习在自旋浴中 NV 核自旋间接控制等复杂场景下的性能,用于态制备与量子比特门设计。该研究利用广义团簇关联展开对包含磁性杂质及浴内相互作用的自旋浴建模,并在最小可观测环境以及含噪、稀疏奖励条件下测试了 RL 智能体,同时将其与其他前沿黑盒优化工具进行了对比。
研究人员通过仿真分析了无模型强化学习在自旋浴中 NV 核自旋间接控制等复杂场景下的性能,用于态制备与量子比特门设计。该研究利用广义团簇关联展开对包含磁性杂质及浴内相互作用的自旋浴建模,并在最小可观测环境以及含噪、稀疏奖励条件下测试了 RL 智能体,同时将其与其他前沿黑盒优化工具进行了对比。
研究人员针对紧急车辆优先的交通信号控制提出有限时域 QUBO 表述,并在三交叉口走廊中对比了精确 QUBO 优化、QAOA、CVaR-QAOA、量子机器学习策略、定时控制与最大压力控制。基于优化的控制器在三种交通需求机制下均实现了可靠的紧急通行,而增大紧急优先权重会缩减紧急通行时间但加剧整体拥堵。CVaR-QAOA 比标准 QAOA 更精确地复现了精确 QUBO 解,但闭环交通表现的差异相对较小。
单量子比特串行重上传线路虽然与同编码预算的多量子比特线路具有相同函数表达能力,但由于存在状态仅沿单一复方向移动的“锁相”现象,导致其一阶训练难度显著增加。在编码预算 $E=32$ 的平坦谱测试中,串行线路在梯度下降、Adam 和 Levenberg-Marquardt 下的收敛成功率仅为 3%、53% 和 83%,远低于双量子比特对照组的 99%、100% 和 100%。
研究人员提出一种通过可微掩码同时学习所需相位及其数值的方法,以降低玻色 qudit 中 SNAP-Displacement 序列制备量子态的控制成本。该方案利用稀疏惩罚移除不必要的相位,并通过温度退火将掩码转化为二值决策。在傅里叶态与 Haar 随机目标态上的测试表明,该方法在保真度与所需相位数量的权衡上达到了具竞争力甚至更优的表现。
一项研究提出经典-量子多视角融合框架,通过拼接与注意力机制结合经典输入和模拟量子特征,证实两者具备互补预测关系时融合能提升预测性能。
研究人员提出一种基于 AI 智能体辅助的实验策略,成功在一台 3 量子比特核磁共振处理器上开发并迁移至另外四台设备。AI 智能体负责评估实验证据、选择后续测量并调整流程,结合设备专属校准、控制脉冲优化与测量完成 Grover 态制备任务。测试中重构主特征态的目标态布局数达 0.910 至 0.959,相对理想值 0.945 的偏差低于 3.8%。
研究人员提出了再分配敏感度评分(RSS),用于识别稀疏自编码器(SAE)中跨提示词变换持续同向出现的大幅特征响应。在涵盖8个大语言模型的27个预训练SAE评估中,该测试展现出可复现的表征再分配轮廓。在两个冻结的安全读出实验中,结合中位数仅20和19个特征的RSS支持集侵蚀,分别取得了0.935和0.958的复发故障AUROC。
研究者提出了一个在线策略蒸馏(OPD)中的 token 级教师选择框架,通过在 rollout 期间动态路由教师来兼顾推理模式兼容性、教师能力与学生多样性。理论分析证明了不同教师路由方案在不同场景下对优化和多样性的优势。在数学、编程、内核生成和视觉推理等领域的实验表明,该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。
研究人员提出大语言模型更新匹配遗忘学习方法 UMU,通过在防御模型与未防御参考模型上同步应用模拟重新学习更新,并在模型选择中引入新任务学习指标。在 TOFU 与 FaithUn 基准上针对 Llama 和 Qwen 模型的实验表明,UMU 使有害和良性重新学习平均分别降低 30.4 和 9.9 个点,同时将新任务准确率提升 3.5 个点。
研究人员提出 LE-EpiGNODE 框架,利用基于机制引导的神经算子替代通用消息传递,以分别建模拉格朗日感染生成与欧拉人群流动输运。在 14 种受控合成机制、3 个 COVID-19 场景及与 21 个基准模型的对比评估中,该模型在最长预测周期下的 3 个真实数据集中均取得最低 WMAPE,误差相比最佳基准降低了 17.7-40.0%。
新研究提出了加权经验风险最小化(ERM)下数据剪枝的高维学习理论,证明战略性剪枝可将分类测试误差衰减率从传统非指数尾部损失的 sqrt(N/P) 加速至贝叶斯最优的 N/P。该理论在样本量 P 远大于输入维度 N 的场景下表明,仅保留最难的 2N 个训练样本并丢弃其余大部分数据,即可实现上述最优性能。同时,该框架还刻画了剪枝策略与损失函数及标签噪声的相互作用。
新研究展示了针对蛋白质设计系统预训练与检索语料的纯数据投毒攻击,证实极少量恶意序列即可隐蔽操纵生成结果。在 300 million 参数的 ProtGPT2 与 ProGen2 预训练中,递增投毒仅需 200 个污染样本即可激活后门。针对检索系统的单条恶意记录可在 97% 的自由文本请求中抢占 top-16,并导致 62% 的请求生成篡改序列。
研究提出一种免训练权重编辑方法,仅需在少量提示词对上执行前向传播,即可直接修改模型权重以降低对有害指令的遵从度。在 5 个指令微调模型上的测试显示,该方法在两个蓄意说谎基准上使平均诚实回答率较最强替代方案分别提升 6.2 和 4.6 个百分点;针对性别偏见指令,它将平均偏见回答率从 57.9% 降至 24.3%,结合公平提示词可进一步降至 11.9%。
研究人员提出了利用健康工况关系进行传感器故障诊断与燃油读数校正的方案,以解决重型柴油车燃油消耗及二氧化碳排放估算失真问题。在涵盖 217 个稳态工况点的 31,500 个故障注入组测试中,该方法对 77.3% 的组发出诊断,准确率达 92.1%。在设定的 1 小时场景中,选定燃油校正将燃烧二氧化碳计算的平均绝对误差降低了 83.8%。
研究人员提出了多裁判集成策略 RaRE,用于改进将结构化标准作为强化学习奖励的 RaR 方法。RaRE 包含利用裁判 logprobs 对高置信度打分赋予更高权重的 soft-Likert 奖励,以及在 GRPO 更新中剔除高分歧样本的 drop-on-disagreement 机制。
研究发现大语言模型在 N-back 工作记忆任务中的性能瓶颈在于受干扰下的内容读出而非定位。研究团队测试了 3 个模型家族的 15 个预训练 LLM(70M 至 14B 参数)及从头训练的极小 Transformer,发现线性探测能近乎完美区分目标与诱饵位置,注意力头大多已准确关注目标。抑制非目标项目的干扰可显著提升敏感度(d'),且模型规模越大改善越明显。
研究人员提出结合内细胞团与滋养外胚层差异化形态编码的混合注意力网络(HAN)与逻辑回归(LR)集成模型,用于在小规模临床表格数据上预测IVF/ICSI鲜胚移植的活产结果。
针对少步生成模型的对齐难题,新研究提出噪声策略优化(NPO),通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率,推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中,NPO 性能优于直接微调,且推理成本比测试时搜索方法降低 16 到 549 倍。
研究者提出了用于时间序列预测的分解时空网络 DST-Net,针对时间序列的不同分解分量定制专用建模策略。该架构在趋势分支设计了 Latent Graph Block,利用潜在图建模捕获全局拓扑依赖与系统级联动;在季节分支引入高斯多尺度注意力机制,通过注入可学习的高斯先验聚焦多粒度局部上下文并过滤全局噪声。
研究者提出 Spectral-Spatial Interpretation(SSI),通过在固定周围上下文后对各空间位置的通道定义条件博弈并计算 Shapley 值,生成完整的谱空间归因矩阵。
研究人员提出了 SE(3) 等变自监督学习框架 SIEVE,以解决 3D 点云掩码自编码中标准掩码导致的拓扑崩溃问题。该方法核心采用球面投影掩码(spherical projection mask),在混淆局部语义的同时保留全局姿态,将点云几何压缩为不变标量嵌入向量。实验表明,所得嵌入在下游点云任务中优于基于坐标的基线与手工几何描述符,并在未见形状类别的泛化上取得最大增益。
研究人员提出用于限价订单簿(LOB)趋势预测的分值匹配框架 STOCHLOB,在训练中引入非高斯前向扩散扰动且部署时保持确定性预测。该方法采用跳跃-Lévy 噪声与截断 $\alpha$-稳定噪声,无需在推理阶段进行反向扩散采样。在 Coinbase 留出数据测试中,该方法在 BTC 和山寨币上保持竞争力,改善了尾部压力指标,相关代码已开源。
研究人员提出一种用于大语言模型算术推理的贝尔曼一致轨迹强化学习方法,通过轨迹贝尔曼残差最小化(TBRM)将稀疏奖励转化为密集的 token 级信号。该框架结合 RLOO 分组策略与后验目标重标记,在稳定梯度方差方面显著优于 GRPO。
研究者提出基于 Koopman 算子的框架 SALTO,通过求解器锚定的提升转移算子来推断有限振幅源。该方法将物理状态动力学锚定在求解器的线性化传播子上,构建可复用的提升伴随,只需单次编码与内积即可预测测量值。在三个非线性偏微分方程系统中,SALTO 的预测误差控制在 2-8%,相比误差达 41-165% 的传统伴随显著改善,并在反应扩散系统后验采样中将计算成本降至求解器的二十分之一。
研究人员提出了评测基准 INCONVENIENT,用于评估大语言模型等机器学习模型在便利样本偏差下的鲁棒性与泛化能力。该基准直接扰动训练分布中的特征与目标关系,同时保留原始总体分布作为部署环境,能明确控制关系偏移的方向与严重程度。该基准包含涵盖多个应用领域的 200 个表格分类与回归数据集,共生成约 15,500 个导致下游性能大幅下降的偏移训练分布。
研究人员提出 CausalEvo 方法,用于在固定模型权重与规则数量的前提下,通过因果评估任务反馈来决定医疗 LLM 智能体文本技能的保留与替换。在包含 120 个保留案例的 6 项 MedCalc-Bench-Verified 任务中,CausalEvo 达到 60.00% 的准确率,优于无技能的 51.67% 与 SkillOpt 的 55.83%。
研究提出面向分支定价割平面(Branch-Price-and-Cut)的学习型列预填充方法,利用神经网络构建非最优候选列池并预测 Wentges 平滑中心以加速根求解。在车辆路径求解器 RouteOpt 中,该流程在 95 个 300 至 1000 客户实例上仅需 13.2% 的定价时间即可达到相同认证下界,最高加速 17.5 倍,并在并行机调度中提速 12 倍。
研究者针对高斯先验的高斯多臂机问题提出了自适应采样算法 Halve-Then-Greedy(HTG),旨在固定预算下最大化推荐方案均值超过目标的后验成功概率。HTG 结合了大初始平衡分配、连续减半与后验贪心采样,其有限预算后验失败概率具有实例相关的指数界。理论分析证明 HTG 在单正臂族上达到渐近样本复杂度下界的对数因子匹配,且样本效率显著优于均匀采样和连续减半。
研究对比了视觉语言模型(VLM)后训练中的同策略知识蒸馏(OPD)与过滤 SFT,发现 OPD 会在学生模型访问的状态上同时继承教师模型的知识与失败模式。
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法,使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本,模型在监督微调与带延迟奖励的强化学习后,构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
研究人员提出一种结合熵增采样与答案混合的递归离线知识蒸馏方法,用于在无法完全访问教师模型内部表征时蒸馏推理链。该方法在 3-4B 开源模型上结合 70-72B 辅助中型模型按熵差采样推理链,并用单 token 真实答案补充思考轨迹。在相当的数据预算下,该方法平均得分达 57.15±1.01,优于原生知识蒸馏的 51.61,且展现出更陡峭的学习曲线。
研究者提出了首批具备亚线性遗憾(sublinear regret)的可复现对决多臂老虎机算法,要求两次运行在共享内部随机性且比较结果独立的情况下,每轮以至少 1-ρ 的概率选出相同的有序比较对。
研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。
符号博弈回归在模型误设的有界回归场景中,基于条件均值的 L1 距离实现了高概率 L1 神谕不等式,并在可实现情况下自适应于平均条件方差。理论证明该算法在适度学习中达成了最优的泛逼近因子 3,且没有任何适度学习器能突破该理论下界。分析结果已拓展至无限函数类,并在合成与真实模型选择任务中得到验证。
研究表明多数投票等自生成标签在强化学习中能逼近真实奖励效果,根本原因在于批次更新层面上跨提示词的标签错误缺乏方向一致性。实验测得单个提示词自身梯度占输出变化不足 1%,且多数投票与真实梯度的噪声校正余弦相似度在误差范围内为 1,随机翻转 30% 标签仍不破坏梯度方向。结果证明决定自生成标签能否替代验证的是错误一致性而非错误率,但真实奖励在最终准确率上仍具有局部优势。
研究发现不同有害任务微调导致的大模型涌现性未对齐(EM)共享了关键注意力头回路。研究人员基于 Qwen2.5-3B-Instruct 训练了医疗、金融和极限运动 3 个 LoRA 微调模型,定位出所有模型前 5 个关键头中重合的 3 个注意力头。
研究人员提出 CogDrift-4D 分层 4D Transformer 框架,用于通过连续多模态行为衰退轨迹检测轻度认知障碍(MCI)。该架构结合会话内最小二乘回归斜率与会话间递归交叉注意力反馈编码器,并引入 Quality Gate 动态过滤低完整度特征。
研究人员基于 NHANES 数据集(2011至2020年3月,24,983名成年人)构建了临床可解释的生物学年龄评估框架。该方法采用 CatBoost 回归模型结合44项异质临床特征估算年龄,在保留测试集上预测结果与实际年龄强相关(Pearson r = 0.798,P < 0.001)。团队通过自动化程序直接量化 SHAP 依赖图的贡献区间与过零阈值,将定性视觉分析转化为可复现的定量指标。
研究人员提出 SHRED 框架,无需人类驾驶演示或轨迹回放,仅通过从随机初始化开始的大规模异构自我博弈联合训练机动车、行人与骑行者。在 Waymo Open Sim Agents Challenge(WOSAC)中,SHRED 联合控制三类主体并超越了无演示基线及基于演示参考策略的先验方法,仅基于 nuPlan 地图训练的策略在 Waymo 零样本评估中仍保持相当的真实感。
研究表明投机采样在超长上下文中无需训练长上下文草稿模型,冻结现有的短上下文草稿模型即可运行至 200 万 token。该方法通过在推理时限制草稿模型的注意力缓存并重置旋转位置编码索引,无需改动模型权重。测试涵盖 3 组目标与草稿模型对及 5 个语料库,单一 vLLM 配置即可跨越 4k 至 200 万 token 且保持短上下文下的加速比。