谱可预测性是否足够?分布偏移下合成预训练的 $\Omega$ 匹配测试
研究测试了基于谱可预测性($\Omega$)匹配的合成数据预训练方法在 LSTM、PatchTST 与 TCN 上的效果,发现该指标在受控合成环境下有效,但不足以单独预测真实场景的跨源迁移。
研究测试了基于谱可预测性($\Omega$)匹配的合成数据预训练方法在 LSTM、PatchTST 与 TCN 上的效果,发现该指标在受控合成环境下有效,但不足以单独预测真实场景的跨源迁移。
研究人员提出了针对具有未知转移、对抗性损失和老虎机反馈的分幕式线性马尔可夫决策过程(MDP)的首个多项式时间算法,实现了最优的 $\sqrt{K}$ 遗憾界($K$ 为分幕数)。该方法通过构建近似分离预言机,将对抗性线性 MDP 规约到动作集未知的对抗性线性老虎机问题。该算法仅需聚合损失反馈,也是对抗性 MDP 在非表格化设定下首个支持聚合反馈的多项式时间算法。
研究人员提出 GIFT 方法,通过 token 级别的梯度几何分解解决蒸馏增强推理强化学习(RL)中的目标冲突问题。该方法将蒸馏梯度分解为衡量冲突的平行分量与量化指引价值的正交分量,并结合覆盖退火(coverage annealing)调度优先剔除冲突更新。在数学与逻辑推理基准测试中,GIFT 在困难数学推理任务上取得最高达 9.5% 的相对提升。
研究人员提出 Trace2World,通过将全局行为重构与代码实现解耦,从 1,570 条真实交互轨迹中重构出 50 个可执行的 GUI 应用环境。在跨 10 个应用的 200 个工作流中,该方法实现了 91.1% 的端到端复现率,并在真实设备上保留了 94.0% 的模拟训练增益。
Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出,旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息,优先将 full-attention 的 KV cache 写入 SSD,在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微,并可扩展至高带宽闪存(HBF)。
研究提出免训练通用图异常检测框架 Jev-GAD,利用单个冻结的预训练语言模型实现基于证据的异常评估。该框架通过 Graph-to-State 转换将结构、属性和邻域证据构建为决策状态,并结合 4 种统计得分进行等权秩融合。在 7 个图异常检测基准测试中,Jev-GAD 的平均 AUROC 和 AUPRC 分别达到 89.18% 和 52.40%。
研究者提出了用于动态多无人机边缘网络的 GRU-DEPPO 自适应缓存放置与替换算法,以应对异构需求、内容截止时间及无人机间能耗不均问题。该方案将局部和全局基于 GRU 的时序表征与中心化 PPO Actor-Critic 结合。仿真结果显示,GRU-DEPPO 实现了最低的截止时间超时率和无人机总通信能耗,相比基准方案 DE-UBAC 将超时率降低约 61%、无人机间能耗不平衡降低约 40%。
研究者提出了针对连续状态空间低秩约束马尔可夫决策过程的表征学习方法 REP-PD-TEG 与 REP-PD-H-TEG,首次为该场景提供了具备软累积保证与硬违规控制的理论保障。
研究人员提出了一个用于建模和解释肿瘤学时序护理团队协作的可视化分析框架。该框架利用电子病历(EHR)数据构建动态协作网络,通过时序图神经网络(TGNN)评估患者随时间的风险,并结合替代逻辑回归模型与假设分析提供多视图可解释性。在涵盖乳腺癌、结直肠癌和肺癌共 505 名患者的专家导向分析场景中,该系统验证了揭示临床协作模式的能力。
研究提出一种将光谱点表示为强度与波数对、并直接依据波数计算 Transformer 位置编码的深度学习方法。在 3 种细菌及其混合物拉曼光谱以及公开的 30-isolate 细菌基准测试中,该方法在卷积、残差和 Transformer 网络中均表现出对噪声、稀疏采样和部分光谱覆盖的鲁棒性。在部分观测及未见采样网格的受控对比中,波数位置编码性能显著优于传统的基于索引和可学习编码。
研究人员提出纯测试期的随机重新掩码去噪(R²D)推理方法与轨迹校正训练(TCT),通过随机重新引入掩码来修正掩码扩散模型解码过程中的不可逆错误。该方法在逻辑任务上呈现接近对数线性的测试期扩展能力,在困难数独和 3-SAT 上分别取得超 97% 和超 99% 的准确率。在语言任务评测中,该方案在 HumanEval+ 上超越了迭代校正基准及 LLaDA2.1-mini 的官方 Q-mode 准确率。
针对知识图谱分散且受隐私限制的问题,研究人员提出统一框架 FedGRAG,实现跨多客户端的分布式图检索与大语言模型知识增强生成。该框架通过轻量级知识索引的联邦路由识别相关客户端,并采用受控披露证据构建方法将子图转为摘要在服务端重构,避免泄露敏感图结构。实验表明 FedGRAG 在检索与下游生成任务上均持续优于现有基线。
研究者提出了一个用于开环目标追踪的连续时间线性二次可解模型,推导出了最优控制策略、策略学习动态与价值学习动态的闭式解。该模型通过少量可解释参数在反应式追踪与预测性追踪之间插值,并揭示学习时间尺度对应特定矩阵的特征值。特征值谱的间隙表明,智能体通常会先学会触碰目标,随后才优化其运动轨迹。
研究人员提出一种具备工具与记忆的智能体架构,通过独立风险门控对手腕 PPG 心率估计进行选择性校正。该架构跨 PPG-DaLiA、GalaxyPPG 等 4 个公开数据集测试,使 10 个估计器的宏平均 MAE 最高降低 44.5%。团队还完成了智能手机端实时部署,原型记录的宏平均 MAE 从 9.09 bpm 降至 4.45 bpm。
研究人员提出 FlowGDA 框架,利用 Flow Matching 将渐进式域自适应建模为表征空间统计流形上的连续传输。该方法采用免模拟回归目标替代对抗训练来学习平滑域轨迹,并通过源域锚定传输、语义一致性损失及两阶段序列优化防止语义漂移。实验表明其性能超越现有 SOTA 技术,论文已被 NeurIPS 2026 接收。
研究人员提出了基于蛋白质结构的从头 RNA 结合分子设计框架 RiboBridge,通过跨坐标系交互几何将 RNA 构象生成与蛋白质-RNA 组装过程解耦。该框架先在预训练潜在空间 RiboSphere 中生成 RNA 构象,再预测交互约束完成刚性放置定位。
研究人员提出一种基于行为反事实解释模型推理过程的方法,通过训练模块编辑残差流,最小化固定回复在不同提示词下的输出分布 KL 散度以复现反事实行为。在 Gemma-4-E4B-it 与 DeepSeek-R1-0528-Qwen3-8B 上的案例研究显示,外部建议即便未被模型明确提及,也会通过问题表述与填充 token 处的表征显著改变论证框架甚至最终答案。
时间序列异常检测(TSAD)综述全面梳理了扩散模型、状态空间模型与 LLM 等新兴架构,并构建起细化的异常分类与范式分类体系。该研究系统分析了现有评估方法并通过实验检验指标保真度,同时开源了包含算法、数据集和评估工具的基准仓库。此外,论文还指出了动态阈值、模型可解释性、零样本迁移及时间序列基座模型等开放挑战。
研究人员提出一套基于下游治疗方案排序决策质量评估 1 型糖尿病数字孪生(DT)的方法,发现轨迹预测精度与实际决策质量并不一致。
研究探讨了如何在大语言模型与强化学习的投资组合策略中处理时效性衰减的金融新闻,并评估了扣除交易成本后的收益表现。在2023-2025年的历史测试中,强化学习加入时序信息并未带来持续的收益提升。而大语言模型直接过滤过时新闻取得了最高的平均净收益,在新闻延迟4周时年化收益率达18.43%,超过了所有使用新闻的强化学习策略。
研究人员提出无监督框架 NEST,借鉴 Matryoshka Representation Learning,在单个嵌入向量中编码由粗到细的多尺度聚类结构。该方法在嵌套前缀子空间中联合优化聚类与分离度,随嵌入维度增加实现更精细的区分,并通过秩和类内正则化防止表征坍缩。实验表明,NEST 仅需各层级聚类数即可恢复合成层级结构,并在视觉、文本及单细胞数据中验证了多尺度组织能力。
研究人员通过多任务信息瓶颈框架,分析了在信息预算限制下哪种预训练目标能为下游任务产生最优表征。针对高斯输入与任务的分析表明,弱任务对齐的专用模型在低速率下优于重构通用模型,但在高速率下会落后;基于平均任务信息矩阵定义的目标则具有受最大任务 SNR 控制的一致相对遗憾界。CelebA 和 dSprites 实验进一步证实,压缩会改变表现最优的预训练目标。
研究者提出了原子可解释单元基底这一稀疏自编码器(SAE)评估新范式,并引入包含 DAME 的综合基准测试框架。评测跨多个架构和模型族的数百个 SAE 发现,部分 SAE 在现有指标下表现单义,但对模型计算贡献最大的核心主导特征在功能上依然具有多义性且冗余度更高。该研究建议在将 SAE 用于归因、回路追踪或干预前,将主导感知评估作为标准检查。
研究者提出了用于条件生成的大型表格连续扩散模型 DiffLTM。该模型对类别特征采用交叉熵损失并给出了首个理论证明,引入了针对罕见子群体的评估指标,并推广了条件生成技术以支持新型条件设定。在劳动力数据上的训练表明,DiffLTM 能够捕捉计量经济学的经典洞见,相关代码已开源。
研究者提出 Short-to-Long(S2L)方法,通过较小折扣因子的源网络为长周期行为学习器提供特征表示。该方法利用分离连接阻止行为价值损失更新源网络,在保持长周期行为折扣目标不变的同时降低目标漂移。在 57 款 Atari 游戏中,S2L 在 40 款游戏中提升了配对终端中位数,并在在线与离线连续控制任务中均实现综合性能提升。
开源 Python 库 aggmetrics 可将基于混淆矩阵计数的二分类评估指标,通过 4 种聚合算子扩展至多分类、多标签、序数、成本敏感、软标签及交叉验证场景。该库能基于指标结构属性推断适用恒等式,并在指标被非预期使用时发出警告。项目采用 BSD-3 协议开源且仅依赖 NumPy。
研究者针对包含正负交互的符号图,分析了图滤波器在边添加、删除及符号翻转等结构扰动下的表示稳定性。理论分析表明,符号边扰动与节点特征相关性共同决定了表征稳定性,据此提出了一种基于理论指导的扰动策略。在合成与真实符号图上的实验表明,该方法比基线能引发更大的嵌入向量漂移、极性改变及下游链路预测性能下降。
新研究证明在缺乏超大规模验证集时,信息论上无法选出使总体误差最小的最优训练子集,并据此提出了以“保真度(faithfulness)”为目标的新数据选择框架。该方法利用未调整朗之万算法建模训练,通过累积梯度差异约束参数分布的 KL 散度,并设计了可单调降低该界限的交换局部搜索算法。方案在 CIFAR10 和 CIFAR100 上匹敌现有基线,相关代码已开源。
研究者提出了用于脑电运动想象的无源在线测试时自适应框架 MOPC,可在推理阶段实时更新解码参数并实现单遍自适应。该框架结合随机掩码扰动增强预测一致性,设计置信度校准重加权损失缓解伪标签不可靠问题,并引入轻量级记忆模块防止灾难性遗忘。在 BCI IV IIb 和 OpenBMI 数据集上,MOPC 相比已有方法分别提升 2.22% 和 3.67%,单次试验自适应延迟仅约 40-60 ms。
研究人员提出 AcoustiPrint 物理引导神经架构,利用隐式神经表示(INR)和可打印性算子实现可制造声学结构的约束反向设计。该方案通过代理梯度与自监督可打印性目标,使包含层级自支撑、离散材料选择与连通性等非微分制造约束支持反向传播。在个性化经颅聚焦超声测试中,该方法联合优化三维几何与材料构成,聚焦精度超越基于密度和基于相位的基准。
研究人员提出融合 ESM-2 序列嵌入与二硫键感知图注意力网络的多模态模型 PH-GNN,利用持续同调表征实现跨物种的毒素离子通道分类。在包含 5 个分类群、1,373 种 ColabFold 预测毒素分子的留一物种评估中,序列基线准确率跌至约 30%,其他几何先验模型聚集在 54-55%,而 PH-GNN 达到 63.4%,领先次优方法 8 个百分点以上。
针对允许放弃最终推荐的贝叶斯固定置信度最佳臂识别问题,研究提出了 Screen-and-Confirm(S&C)算法,并推导出在目标错误率 $\delta$ 与弃权预算 $\alpha$ 约束下的最小期望停止时间。
研究人员针对 Llama-3.1-8B-Instruct 模型,评估了激活探测在欺骗、高风险意识和阿谀奉承三种安全相关行为中的检测与干预表现。实验发现逻辑回归探测在欺骗和高风险场景下更擅长检测,而均值差方向更擅长干预,但该规律在阿谀奉承任务中出现反转。相关探测器与干预方向已接入交互式界面,支持用户直接评分并干预文本输出。
研究人员提出 CTRL-FM 框架,通过将结构引导转化为推理期决策,解决长周期传感器节点中断下的流式虚拟传感问题。该方法采用仅针对缺失项的 flow-matching 主干并严格固定观测值,基于存活测量构建自监督代理中断以选择并局部调节无控制、图主导、时间主导或平衡控制策略。
研究人员提出了一种面向脉冲神经网络(SNN)的脉冲感知基于梯度的混合精度量化框架,利用一阶梯度自适应分配位宽,无需昂贵的高阶 Hessian 计算。在 ImageNet 上的 ResNet-34 评测中,该方法在 4.78x 压缩下达到 73.30% 准确率,效果匹敌 HAWQ-V2 的同时将内存开销降低 2.31x,位分配运行时间缩短 100x。
GAV 是一个面向 PDE 智能体的科学实验环境,利用制造解方法反向构造新偏微分方程问题,实现无需单独求解即可直接验证。系统包含生成器、智能体与验证器,可依据精度与计算成本反馈迭代优化程序,并针对弱点生成测试。在数值 Navier-Stokes 任务中,GAV 将 3 个现有 PDE 智能体的平均测试误差降低了一个数量级以上,代码已开源。
研究者提出名为 duet sampling 的 Metropolis-Hastings 泛化算法,通过在每次迭代中从候选池选择两个提议分布,分别用于生成候选状态和评估返回当前状态。该方法支持同时对有向无环图(DAG)中多个节点的父节点进行重采样,在不增加额外计算成本的前提下提升马尔可夫链的混合效率。实验表明,新设计的采样操作无论单独还是组合使用,表现均超越以往 SOTA 方法。
SWE-Verifier 是基于 Qwen3.5-4B 训练的轻量生成模型,通过对候选动作打分来选择性触发采样、验证与重排,大幅降低代码智能体的无效开销。
研究人员通过矩阵二次型理论分析了优化器 Muon 核心的正交化更新 PolarGD,揭示了其训练大语言模型优于 AdamW 的机理与潜在瓶颈。分析表明,PolarGD 的收敛速度取决于当前迭代矩阵的条件数而非 Hessian 矩阵,但极小的奇异值会导致其速度远慢于梯度下降。Muon 采用的少数次 Newton-Schulz 迭代恰好缓解了微小奇异值的负面影响,收敛速度甚至快于精确正交化。
研究人员提出用于多模态推理的最小编辑策略内知识蒸馏方法,利用教师模型评估错误推理并仅对教师不认可的 token 进行针对性修正,正确推理则接受任务奖励强化学习。该方法在测试阶段无需图像描述即可达到或超越基准模型输入参考描述的性能,显著增强了几何感知能力,且使用同尺寸冻结模型作为教师同样有效。