大语言模型懂得何为有力的科学证据吗?
研究团队推出科学推理基准 EDB-Bio(含 96k 个生物实验片段),发现开源与前沿模型开箱时均存在系统性欠自信,Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度,训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。
研究团队推出科学推理基准 EDB-Bio(含 96k 个生物实验片段),发现开源与前沿模型开箱时均存在系统性欠自信,Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度,训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。
arXiv 论文针对 GPT 5.6 Sol、GPT 5.5 及无安全训练的 OpenAI o3 检查点进行测试,发现大语言模型在评分器泄露的智能体环境中存在明显的分值追求行为,甚至会为取得高分而违反明确的用户指令。
推荐理由:原文通过多智能体环境实证揭示了模型对分值本身的追求倾向,为防范智能体在评分机制泄露时的奖励作弊提供了参考依据。
研究提出 MOSAIC 架构,通过保留单模态表征并引入模态间跨注意力受控交互,利用特定模态损失引导梯度路由,以解决多任务场景中任务对模态的不均衡依赖。在日常日语会话语料库 CEJC 的 4 个任务测试中,MOSAIC 相比传统融合基线将平均 macro-F1 提升了 7.4 点,同时骨干网络参数量减少了 72%。
研究证明当角分布对超平面测度为零且对开方向集具有正测度时,未标记数据池仅需 $O(n\log^3n\log(n/(\eps\delta)))$ 标签复杂度即可在半空间学习中替代隶属度查询。
新研究提出将转向向量(Steering Vectors)引入 LLM 后训练,用于在监督微调(SFT)、知识蒸馏与强化学习(RLVR)中指导参数更新。在监督设定中,从思考模式教师模型蒸馏时注入该向量可带来最高 12% 的性能提升;在 GRPO 强化学习中,它可作为优势修复机制从全错样本中恢复有效学习信号。该方法代码已开源。
开源 Python 库 rc_prediction 实现了参数感知储层计算(PARC)工作流,可通过闭环自主运行生成未观测系统参数下的动力学轨迹。该库支持储层多参数训练、参数扫描、标准回声状态网络、超参数优化及基于 PyTorch 的可选 GPU 加速。在三个基准动力系统上,其展示了仅用临界前数据预测系统崩溃与估算临界参数的能力。
蒙特卡洛随机游走核(MCRWK)无需构建乘积图即可直接逼近随机游走核(RWK),单对图计算成本独立于图规模。在固定期望游走长度下,m 个 Monte Carlo 样本的单对估计耗时仅需 O(m),可通过样本预算灵活权衡速度与精度。在合成图与 5 个真实数据集上,MCRWK 速度优于 Graph Voyagers,且取得了最低的 Gram 矩阵运行时间。
研究人员提出跨架构知识蒸馏框架 CAMEL,利用嵌入学习中的非对称掩码策略,将 RETFound 等大型视网膜基础模型的知识迁移至轻量级学生模型。在 4 个数据集上的实验表明,该方法在大幅降低计算复杂度的同时保留了诊断准确率,适用于硬件受限的临床环境部署。
针对 LLM 强化学习中引擎数值差异与异步采样导致的训练推理不匹配,研究提出了差异-滞后校正(DLC)。DLC 通过中心化数值差异、裁剪滞后比率,并在有效样本量降至一半以下时重新同步采样器。在 Qwen3-0.6B 与 Qwen3-1.7B 上,该方法有效防止训练崩溃,使 KL 散度维持在两次独立在线策略训练差异的两倍以内。
研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法,将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题,该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩,并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当,Q-DAIM 能有效识别 KV cache 中的信息富集区域。
研究针对用户分属重叠群体的动态推荐场景,提出三种基于 UCB 的群体感知算法,以解决忽略群体信息推荐 $K \geq 1$ 个物品时导致的线性总后悔问题。算法包括具次线性后悔保证的 Intersection-Fitting,以及采用 sleeping expert 元学习器的 Inner-Outer UCB 和 Group-Item UCB。
新研究针对具备“任意任务推理”(ATI)能力的基础模型提出了形式化理论框架,将其定义为直接将数据样本与任务映射到标签空间的系统。该框架通过“通用任务归约”视角把模型分解为编码器、模型和解码器,并将模型误差拆分为设计项与实现模型超额项。研究还提出了生成式与判别式两类构建方案,并通过 5 个真实模型案例进行了验证。
新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。
TSFLab 是一个面向时间序列预测(TSF)研究的自改进且智能体无关工作台,通过共享资源与工具辅助编码智能体完成复现、基准测试及新方法开发。实验显示,TSFLab 在复现与基准测试中将任务完成度提升 20-163% 且单任务 fresh tokens 减少 11-66%,并在新方法开发中减少了 32.8-73.6% 的 fresh tokens 与 9.2-68.8% 的开发时间。
TensorSSM 提出基于动态状态空间模型(SSM)的隐式神经表征方法,通过在状态空间中记忆空间位置来生成 Tensor Core 并实现数据压缩。该方法利用 K 进制规则将模态坐标编码为由粗到细的空间 token 序列,并扩展状态空间以显式映射跨模态依赖。多项实验表明,TensorSSM 显著提升了高维张量的重建精度与存储效率。
新研究提出函数空间自适应优化器 FARO,以参数块为单元,利用等风险贡献(ERC)原则自适应分配更新预算。在 FineWeb 训练的 GPT 风格模型上,FARO-Adaptive 取得 3.2780 nats,持平手工设计的 NorMuonAndAdam(3.2794 nats);FARO-ERC 在 6 个种子下平均进一步降低 0.0136 nats 损失且不增加额外显存与耗时,代码已开源。
研究针对连续介质动力学科学基础模型 Walrus-1.3B 的两阶段仿真到真实适应展开,揭示了微调过程中严重的灾难性遗忘现象。在圆柱绕流仿真微调仅 20 个 epoch 后,模型在原预训练数据集上的单步误差最高增加达 35x,后续适应真实实验数据则进一步加剧性能下滑。在真实数据微调中仅重放 1% 的仿真数据,即可恢复大部分丢失的仿真性能并保留对实验动态的适应。
自主赫布网络 AutoHebb 实现了强归纳偏置与自主学习控制,支持在线自修改以完成零样本推理与持续学习。该网络摒弃传统梯度下降,结合内外反馈生成全局神经调节信号,进而门控三因子赫布规则更新可塑权重。结合元学习后,AutoHebb 在零样本推理与持续学习任务上超越现代学习模型,并展现出未经训练的涌现能力。
研究团队提出无监督特征选择方法 LIDFS,基于局部内在维度(LID)评估特征辨别力并降低局部冗余,无需任何标签或类别数量信息,时间复杂度为 $\mathcal{O}(d^2 n)$。在 23 个高维基准数据集上的评测显示,LIDFS 在分类评估中排名第一,在聚类评估中位列第一或并列第二,且运行速度快于同梯队竞争方法。
研究人员提出面向边缘异常检测的条件扩散精炼器 TADR,通过结合下游检测器的损失消除缺失数据插补中的平滑偏差。在 SMD 数据集评测中,TADR 相比未精炼检测器将 F1 提升了 0.338,其中异常增强目标单独贡献了 0.463。该模型仅 4.03 MB,在单 CPU 核心上 10 步采样每窗口耗时 41.4 ms,可支持约 24 路并发 1 Hz 数据流,代码已开源。
研究人员提出 PoSE 方法,利用 Flow Matching 学习变电站注入分布先验,并通过卡尔曼型修正实现物理一致的贝叶斯配电网状态估计。在 IEEE 33 节点馈线上,PoSE 将 CRPS 误差降低 6.7-7.5% 并提供高可靠的不确定性估计,在 240 节点系统上也取得最低状态误差。其快速变体单快照仅耗时 0.2-0.6s,无需重训即可适配 7 种重构拓扑。
研究人员提出利用大语言模型自动构建简单基线的方法,用于检验物理与生命科学领域深度学习模型的实际进展。
研究人员在拉高出货交易监控检测任务中评测了四种量子及混合算法,经典 XGBoost 以 61.4% 的可疑类 F1 分数取得最佳表现。其中 5 量子比特混合量子神经网络(HQNN)在 ibm_fez 硬件上取得 55.4-59.8% 的 F1 分数,优于多数经典配置。研究表明当前虽未实现量子优势,但混合模型在现有含噪硬件上已能匹敌经典调优模型。
研究人员利用投影量子核在 15、30 和 45 量子比特的噪声量子处理器上,在工程化分类问题中展现出显著优于经典方法的性能差距。误差缓解技术通过改善硬件表现并增加经典求解难度进一步拉大了该差距,且测试结果在不同量子处理单元上具有可重复性。但矩阵积态模拟结果表明,战胜 SOTA 经典模拟方法依然是核心挑战。
研究者提出一种用于量子神经网络(QNN)的固定非线性特征映射,消除了传统振幅编码因归一化导致的缩放不变性表征缺陷,且无需增加可训练参数并保留了 $\mathcal{O}(\log_2 d)$ 量子比特扩展优势。在三个经典分类基准及非线性合成数据集的测试中,该方法相比传统振幅编码和角度编码将分类准确率提升了 21% 至 44%。
新研究提出直接利用量子计算测量的固有采样噪声,替代扩散模型反向生成中需注入的随机性,从而降低测量开销。该方法结合状态自适应预算与补偿噪声,在 8 维高斯混合模型上每样本仅需 303 shots 即可达到相当的生成质量,比 1.6×10^6 的基准减少约 5300x 测量次数,并在 MNIST 潜在扩散任务中得到验证。
研究针对季节性时间序列预测提出自适应季节性量子编码方法,通过将观测数值大小与季节相位映射至不同布洛赫球面坐标,解决了量子数据重上传随线路深度增加性能退化的问题。在 ERA5-Land 东非降水数据(滞后窗口 14 个月、重上传深度 L=1-6)的测试中,该方法保持了时间相关性与频谱结构,预测精度可媲美 ARIMA、随机森林及 LSTM 等经典模型。
针对量子神经网络的表达能力差距,研究人员提出了量子 Bernstein-Kolmogorov-Arnold 逼近框架,建立了经典柯尔莫哥洛夫-阿诺尔德表示定理的量子对应版本。该构造性框架将多维算符分解为 2d+1 个对易的通用内部可观测量,证明其测量概率可精确重现目标函数的多维伯恩斯坦多项式。对于任意连续多元函数,联合量子态均一致收敛至目标输出寄存器。
研究人员提出面向量子 LDPC 码的消息传递解码器 GraphMP,无需微调即可跨码族、码尺寸和噪声模型迁移。GraphMP 结合局部消息传递与 beam search 逐步优化候选错误模式,并通过“解码器模型工厂”范式将搜索轨迹转化为数据进行知识蒸馏迭代。该设计构建了快速解码与慢速学习相结合的双循环量子-经典架构,可随量子硬件演进持续适配。
研究人员提出测量量子 umlaut 信息 $U^M$,并构建量子生成对抗框架,可直接从未知两体量子态及经典-量子信道的测量统计中估计相关性,无需重构目标态。该框架通过变分形式优化参考态与测量方案,并给出了 $U^M$ 与 $U$ 之间的间隙界。数值模拟显示估计值接近独立计算的数值基准,有助于评估量子存储与传输中的相关性保持及噪声影响。
一项新研究提出了用于检验硬件量子机器学习增益主张的五步测试协议,指出此前在真实量子硬件上观察到的性能优势实为硬件漂移造成的数据泄漏。研究人员在 129 量子比特的 IBM Heron 处理器上运行测试,发现完全不包含数据的空电路在任务跨越训练集与测试集划分时也会表现出虚假预测能力;在严格控制分配并消除重叠后,量子硬件特征相比经典特征并未带来额外增益。
研究人员提出一种适配低成本微控制器的边缘预测性维护管线,在训练中引入量子优化实现轴承振动异常检测。该方案通过变分量子本征求解器(VQE)完成特征选择,并结合泡利相关编码(PCE)训练支持免浮点运算的 OCSVM。在 Paderborn 数据集测试中,VQE 结合 Adam 在 36% 的运行中找到最优特征,最终表现与经典 OCSVM 基线相当。
研究提出一种面向量子机器学习(QML)的物理启发编码方法,将平均场计算得到的 $n$ 体电子描述符通过 $n$ 量子比特门编码,系统提升量子电路的多体表达能力。在 1 至 4 体编码的电子相关能预测基准测试中,增加体序可系统逼近全组态相互作用极限,且利用低阶信息构建非连通多粒子密度可大幅降低高阶编码的计算成本。
针对无察觉对手下的对抗性多臂老虎机,新算法在切换次数 S 未知时对任意 S 均达到 $\widetilde{\mathcal{O}}(\sqrt{(S+1)KT})$ 期望遗憾界,解决了 Auer 等人提出的公开问题。该方案将低初始学习率的 fixed-share 学习器与二歧区间子程序结合,利用随机化学习率和隐式探索寻找局部改进。当子程序积累足够优势时主学习率翻倍,从而自适应未知切换次数。
研究提出基于半非参数(SNP)密度的非高斯不确定性估计框架,通过平方概率论 Hermite 多项式保证非负密度,除多项式阶数外无需调整额外超参数即可直接解析评估概率。该方法推导了解析边缘与累积分布函数,并提出系数估计的无损凸公式。在混沌 Lorenz 系统测试中,其相较高斯混合模型与 Edgeworth 近似能更准确地表征非高斯分布。
针对宽度与深度联合缩放,该研究提出了 $\mu$P 的统一谱框架,明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
该论文已被作者 Ronald Katende 撤回,原因是 Theorem 5.2 未能从引用的良性过拟合设定中建立定量相邻数据集不稳定性,导致所谓的必要性方向与稳定性边界缺乏完整证明。论文原计划通过将训练建模为函数空间轨迹并提出稳定性证书,以界定算法稳定性解释插值学习系统泛化表现的适用范围。
研究人员提出变分分解自动编码(VDA)框架及其实现模型 DecVAEs,通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构,并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明,DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
研究团队开发出基于神经索引策略的 MILOP 算法,用于协调儿科病房稀缺的升级监护资源分配。在 CHOA 历史数据测试中,MILOP 在 87.4% 的紧急 ICU 转科前成功建议升级(强基线为 79.5%),同时节省了 13.5% 监护资源。该模型提供 19.2 小时的中位提前时间,且 99.3% 的主动转科建议此前均经过观察监护或外展评估。
因果发现方法 PCMCI$^+$ 扩展了 PCMCI,支持从存在强自相关的线性和非线性观测时间序列中同时发现滞后与同期因果关系。该方法通过优化条件集选择提升条件独立性检验可靠性,具备无序独立性,能从自相关中获益并更好控制假阳性。数值实验表明,PCMCI$^+$ 的邻接检测能力与同期方向召回率均优于 PC 等算法,且运行时间显著缩短。