跳到正文

#论文/研究

今日 59 条
10月24日周六
  1. arXiv cs.AI63

    DiffResearch:利用扩散语言模型加速多智能体深度研究

    研究团队提出开源多智能体深度研究框架 DiffResearch,将扩散语言模型作为各阶段核心以解决端到端延迟瓶颈。在 100 项 Deep Research Bench 任务中,扩散骨干网络带来约 6 倍的端到端提速,并在规划和写作阶段显著减少耗时。

    推荐理由:该研究将扩散语言模型引入多智能体研究系统,通过非自回归生成缓解了长文规划与撰写的延迟瓶颈。

  2. arXiv cs.AI46

    扩散语言模型智能体间的隐蔽信息:潜空间通信的因果证据

    扩散语言模型智能体可通过去噪状态压缩出的 4 个带符号稠密向量实现潜空间通信,实验证实接收方能有效理解并利用该隐藏信息。在受控任务中,错误信息替换使 Tiny-A2D 和 Dream-7B 分别损失 +63.6 与 +100.0 点优势,QASC 匹配通信准确率达 80.8%。时序测试显示单次后期传输准确率达 87.8%,比 4 次循环交互高出 +7.0 点,表明信息传输时机比交换频次更为关键。

  3. arXiv cs.AI44

    Fig:自动化多智能体行为诱导系统

    AI 智能体系统 Fig 通过对博弈环境执行针对性干预,系统化诱导并评测多智能体的特定社交行为。该系统可将自然语言行为描述拆解并生成或调整博弈环境,结合机械检查与合成评分标准评测模型表现。在合作、欺骗、背叛等 6 种测试行为中,模型平均在 45.2% 的回合中尝试了目标行为,干预使尝试率较对照组平均提升 10.9%,代码已开源。

  4. arXiv cs.AI42

    操纵还是不操纵:大语言模型交互中的观点动态研究

    一项研究构建了受控的 LLM-LLM 辩论框架,测试 GPT-6 Luna 与 Gemini 2.5 Flash Lite 在 4 种组合下讨论争议议题时的观点动态变化。实验发现同模型交互平均会缩小双方观点差距,而跨模型交互反而会拉大差距。此外,明确的说服指令并不能可靠增强模型影响力,显式立场报告与实际对话行为也呈现出截然不同的特征。

  5. arXiv cs.AI40

    关系基础模型预训练 Speedrun:首个 Relational Transformers 排行榜 modded-nanoRT

    研究人员推出首个面向 Relational Transformers 的预训练 Speedrun 排行榜 modded-nanoRT。该方案结合 typed trilinear attention 算子、Muon 与 SIGReg,在单块 NVIDIA H200 上仅耗时 305.63 秒达到质量目标,比参考实现提速 8.11x,并在开发库外赢下 15 组对比中的 13 组。相关基准与代码已开源。

  6. arXiv cs.AI34

    Sketch2Sim:面向手绘电路分析的端到端模块化框架

    Sketch2Sim 是一个端到端模块化框架,可直接将手绘电路图照片转换为 SPICE 兼容网表,并自动求解节点电压与电流。系统依托 1,000 个手绘 RLC 电路数据集,采用双 YOLO、CRNN 与 DBSCAN 算法完成元件检测、数值识别和节点拓扑映射。该方案还提供了综合 UI,在多种手写风格与光照下表现稳健,适用于教学与工程设计评审。

  7. arXiv cs.AI43

    SSR 框架:通过连续规模竞速实现智能体 Harness 演化

    新研究提出连续规模竞速(SSR)框架,通过自适应搜索最优证据组合优化智能体 Harness 演化,解决了演化任务池扩展时的性能退化问题。在 3 个 benchmark 的 6 种配置下 SSR 均取得 SOTA;任务池从 40 增至 200 时,通过率从 64.3% 稳步提升至 68.3%,而基线性能全部下滑。此外,其竞速机制还在低算力预算下减少了 60% 的验证执行量。

  8. arXiv cs.AI62

    Agent4Sci:前沿智能体能否自动化解决科学机器学习难题

    研究团队推出长周期测试基准 Agent4Sci,跨越 11 个领域的 20 个基准测试,评估前沿智能体提升科学机器学习最佳模型的能力。实验显示前沿智能体能在所有基准上取得进展,Claude Opus 达到 10.4% 的平均相对提升,但收益几乎完全来自机器学习工程技巧而非深层领域洞见,存在新颖性误判和过早陷入局部调优等限制。

    推荐理由:论文通过 20 个科学机器学习基准揭示了前沿智能体主要依赖工程技巧而非科学洞见,并给出了通过插件技能翻倍性能的方法。

  9. arXiv cs.AI41

    SpecEvo:面向高性价比科学发现的大语言模型投机进化框架

    研究人员提出 SpecEvo 多大语言模型框架,通过轻量模型并行生成候选程序并沉淀搜索经验,同时让前沿模型仅在停滞节点执行战略干预。在涵盖 4 个领域的 176 项科学与算法发现任务中,SpecEvo 达到或超越前沿模型基线,同时降低高达 80% 的 API 成本,并在 CO-Bench 上相比最强基准提升 3.8%。

  10. arXiv cs.AI40

    游戏中的扩展规律:面向多样虚拟世界具身智能体的持续预训练

    针对虚拟世界具身智能体的持续预训练研究测试了 0.8B 至 27B 规模与 50 至 1,600 小时数据,涵盖 120 种训练配置。研究拟合了验证损失与数据量、多样性及模型规模的经验扩展定律,发现数据多样性有助于向相关虚拟世界迁移。所得模型在 3D 实时环境中媲美 Minecraft 专家模型,但面对差异较大的世界仍存在泛化差距。

  11. arXiv cs.AI34

    小模型提问更优:面向 RAG 的查询澄清微调

    研究提出了面向 RAG 查询澄清的数据集 ClariEdge(约 3,900 个样本),并表明轻量级微调 LoRA 能达到 96.6% 的分类准确率。该小模型在分类与澄清生成质量上均超越了多种大模型的提示词基线,且 hard negatives 是准确识别真实歧义的关键。该 LoRA 适配检索前与检索后两个阶段,可嵌入 RAG 流程作为回答生成前的校验机制。

10月23日周五
  1. The Decoder75

    Anthropic 让 Claude 自动验证代码安全性并生成数学证明

    Anthropic 联合 Theorem 利用 Claude 实现了软件形式化验证的自动化生成,在数周内针对 123 个开源软件库生成约 1.8 亿行数学证明代码。证明由独立程序 Rocq 自动校验且近乎无需人工干预,并在排查过程中发现了大量传统测试遗漏的隐蔽漏洞并完成修复。该技术目前受限于单线程与特定架构环境,算力消耗极高,团队计划未来将其拓展至 OpenSSL 和 glibc 等基础库。

  2. arXiv cs.LG49

    追溯预训练过程中的阈下学习现象

    研究发现大语言模型在通过硬标签或软标签蒸馏时,会继承教师模型无关特性的“阈下学习”现象,且该迁移在不同初始化权重、预训练数据顺序、语料、模型大小及架构下均持续存在。实验基于 Pythia、PolyPythia 和 DataDecide OLMo 模型,表明传递与获取偏好的能力在预训练检查点中独立发展,并在角色反转时呈现出强不对称性。相比硬标签蒸馏,软标签蒸馏只需更少训练即可产生更一致的偏好迁移。

  3. arXiv cs.LG59

    研究追踪推理模型中 Wait 标记来源:源自训练数据而非强化学习发明

    一项新研究追踪开源推理模型的训练历程发现,模型在重新审视步骤时使用的“wait”标记并非由强化学习自主发明,而是继承自预训练数据或带有推理轨迹的微调数据。在缺乏该词的基座模型上,强化学习虽能显著提升 MATH-500 准确率但基本不会凭空生成该词;若基座已有该词,不同强化学习方案则会改变其使用频率和报警敏感度。

  4. arXiv cs.LG34

    一师多视角:降低同策略自蒸馏对参考答案敏感度的新方法

    针对同策略自蒸馏(OPSD)中教师分布过度依赖单一完整参考解答导致的“参考引发目标不稳定”问题,研究人员提出了蒙特卡洛特权蒸馏(MCPD)方法。该方法将特权上下文建模为部分参考视角的分布,评估多视角下的教师分布并在概率空间进行平均,从而蒸馏边缘教师分布。在数学与科学推理基准测试中,MCPD 提供了更具参考一致性的监督,效果持续优于全参考 OPSD。

  5. arXiv cs.LG35

    MOER:基于专家前缀引导与选择性回滚的混合策略优化框架

    MOER 提出一种强化学习混合策略优化框架,通过向 prompt 注入逐步缩短的专家思维链前缀引导自主推理,并借助选择性回滚机制将失败补全替换为完整专家轨迹以保证正确性。该框架结合了用于 on-policy token 的 GRPO 损失与置信域 SFT 损失以稳定训练,在数学和通用推理任务中取得最高平均分,代码已开源。

  6. arXiv cs.LG38

    训练混合单调神经网络以实现无需集合传播的形式化验证

    研究人员提出一种通过单调子网络差值实现混合单调函数的新型神经网络架构,将紧致输出包络的计算简化为输入区间对角顶点的两次简单前向传递,无需复杂的集合传播。该方法在训练期间直接最小化包络大小,在回归和动力系统基准上包络大小可缩减至理论下界 0.5% 以内且不损失预测精度。

  7. arXiv cs.LG34

    权重空间的分岔:参数化动力系统上的 JEPAWG 分析

    研究人员将联合嵌入超网络 JEPAWG 应用于 4 种动力系统构建的模型动物园,通过权重空间分析物理动力学分岔。JEPAWG 的解码权重参数导数范数能定位 Hopf 点与曲线、追踪倍周期分岔级联并定性估计 Feigenbaum 常数,还能检测无特征值特征的全局分岔。其预测性能可匹敌直接针对预测任务训练的超网络,为从训练网络中读取物理结构提供了可解释工具。

  8. arXiv cs.LG33

    逆向 KL 策略蒸馏:统计学保证与理论极限

    一项新理论研究揭示了逆向 KL 策略蒸馏的统计学界限与样本复杂度差异。在在线蒸馏中,若教师模型仅反馈学生生成动作的概率,所需数据量会大幅增加;而离线蒸馏无论教师提供完整分布还是单一动作概率,均可达到相同的 minimax 速率。研究还提出了轨迹损失截断、重要性比率截断与策略空间学习技术,以实现最优在线蒸馏保证。

  9. arXiv cs.LG39

    Lean Finder V2:支持查询消歧的 Mathlib 语义搜索框架

    Lean Finder V2 是一种针对 Mathlib 的语义搜索框架,通过对抗训练与查询重写消除简短、模糊查询的歧义。在人工整理的 MathlibQR 基准上,该框架刷新 SOTA,较此前最优语义搜索引擎取得至少 11% 的相对提升。它在人类与编码智能体未标注查询测试中被评为最强系统,集成至 Claude Code 后提升了定理证明成功率。

  10. arXiv cs.LG27

    对抗性线性马尔可夫决策过程在聚合老虎机反馈下的首个多项式时间最优遗憾算法

    研究人员提出了针对具有未知转移、对抗性损失和老虎机反馈的分幕式线性马尔可夫决策过程(MDP)的首个多项式时间算法,实现了最优的 $\sqrt{K}$ 遗憾界($K$ 为分幕数)。该方法通过构建近似分离预言机,将对抗性线性 MDP 规约到动作集未知的对抗性线性老虎机问题。该算法仅需聚合损失反馈,也是对抗性 MDP 在非表格化设定下首个支持聚合反馈的多项式时间算法。

  11. arXiv cs.LG35

    GIFT:面向蒸馏增强推理强化学习的梯度感知过滤方法

    研究人员提出 GIFT 方法,通过 token 级别的梯度几何分解解决蒸馏增强推理强化学习(RL)中的目标冲突问题。该方法将蒸馏梯度分解为衡量冲突的平行分量与量化指引价值的正交分量,并结合覆盖退火(coverage annealing)调度优先剔除冲突更新。在数学与逻辑推理基准测试中,GIFT 在困难数学推理任务上取得最高达 9.5% 的相对提升。

  12. arXiv cs.LG36

    Gandalf:延长大语言模型服务中 KV cache 卸载的闪存寿命

    Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出,旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息,优先将 full-attention 的 KV cache 写入 SSD,在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微,并可扩展至高带宽闪存(HBF)。

  13. arXiv cs.LG34

    单个预训练决策模型足以实现免训练通用图异常检测

    研究提出免训练通用图异常检测框架 Jev-GAD,利用单个冻结的预训练语言模型实现基于证据的异常评估。该框架通过 Graph-to-State 转换将结构、属性和邻域证据构建为决策状态,并结合 4 种统计得分进行等权秩融合。在 7 个图异常检测基准测试中,Jev-GAD 的平均 AUROC 和 AUPRC 分别达到 89.18% 和 52.40%。

  14. arXiv cs.LG25

    动态多无人机边缘网络中的自适应截止时间与能耗感知缓存算法

    研究者提出了用于动态多无人机边缘网络的 GRU-DEPPO 自适应缓存放置与替换算法,以应对异构需求、内容截止时间及无人机间能耗不均问题。该方案将局部和全局基于 GRU 的时序表征与中心化 PPO Actor-Critic 结合。仿真结果显示,GRU-DEPPO 实现了最低的截止时间超时率和无人机总通信能耗,相比基准方案 DE-UBAC 将超时率降低约 61%、无人机间能耗不平衡降低约 40%。

  15. arXiv cs.LG33

    用于癌症生存风险分析的时序医疗团队动态可视化与解释框架

    研究人员提出了一个用于建模和解释肿瘤学时序护理团队协作的可视化分析框架。该框架利用电子病历(EHR)数据构建动态协作网络,通过时序图神经网络(TGNN)评估患者随时间的风险,并结合替代逻辑回归模型与假设分析提供多视图可解释性。在涵盖乳腺癌、结直肠癌和肺癌共 505 名患者的专家导向分析场景中,该系统验证了揭示临床协作模式的能力。

  16. arXiv cs.LG32

    基于波数感知的拉曼光谱鲁棒分析深度学习方法

    研究提出一种将光谱点表示为强度与波数对、并直接依据波数计算 Transformer 位置编码的深度学习方法。在 3 种细菌及其混合物拉曼光谱以及公开的 30-isolate 细菌基准测试中,该方法在卷积、残差和 Transformer 网络中均表现出对噪声、稀疏采样和部分光谱覆盖的鲁棒性。在部分观测及未见采样网格的受控对比中,波数位置编码性能显著优于传统的基于索引和可学习编码。

  17. arXiv cs.LG43

    随机重新掩码扩展掩码扩散模型推理能力

    研究人员提出纯测试期的随机重新掩码去噪(R²D)推理方法与轨迹校正训练(TCT),通过随机重新引入掩码来修正掩码扩散模型解码过程中的不可逆错误。该方法在逻辑任务上呈现接近对数线性的测试期扩展能力,在困难数独和 3-SAT 上分别取得超 97% 和超 99% 的准确率。在语言任务评测中,该方案在 HumanEval+ 上超越了迭代校正基准及 LLaDA2.1-mini 的官方 Q-mode 准确率。

  18. arXiv cs.LG34

    联邦图检索增强生成 FedGRAG

    针对知识图谱分散且受隐私限制的问题,研究人员提出统一框架 FedGRAG,实现跨多客户端的分布式图检索与大语言模型知识增强生成。该框架通过轻量级知识索引的联邦路由识别相关客户端,并采用受控披露证据构建方法将子图转为摘要在服务端重构,避免泄露敏感图结构。实验表明 FedGRAG 在检索与下游生成任务上均持续优于现有基线。

  19. arXiv cs.LG32

    学习追踪移动目标的可解模型研究

    研究者提出了一个用于开环目标追踪的连续时间线性二次可解模型,推导出了最优控制策略、策略学习动态与价值学习动态的闭式解。该模型通过少量可解释参数在反应式追踪与预测性追踪之间插值,并揭示学习时间尺度对应特定矩阵的特征值。特征值谱的间隙表明,智能体通常会先学会触碰目标,随后才优化其运动轨迹。

  20. arXiv cs.LG33

    用于手腕 PPG 心率估计选择性校正的工具与记忆智能体架构

    研究人员提出一种具备工具与记忆的智能体架构,通过独立风险门控对手腕 PPG 心率估计进行选择性校正。该架构跨 PPG-DaLiA、GalaxyPPG 等 4 个公开数据集测试,使 10 个估计器的宏平均 MAE 最高降低 44.5%。团队还完成了智能手机端实时部署,原型记录的宏平均 MAE 从 9.09 bpm 降至 4.45 bpm。

  21. arXiv cs.LG37

    FlowGDA:利用 Flow Matching 学习域轨迹实现渐进式域自适应

    研究人员提出 FlowGDA 框架,利用 Flow Matching 将渐进式域自适应建模为表征空间统计流形上的连续传输。该方法采用免模拟回归目标替代对抗训练来学习平滑域轨迹,并通过源域锚定传输、语义一致性损失及两阶段序列优化防止语义漂移。实验表明其性能超越现有 SOTA 技术,论文已被 NeurIPS 2026 接收。

  22. arXiv cs.LG38

    通过行为反事实解释模型推理

    研究人员提出一种基于行为反事实解释模型推理过程的方法,通过训练模块编辑残差流,最小化固定回复在不同提示词下的输出分布 KL 散度以复现反事实行为。在 Gemma-4-E4B-it 与 DeepSeek-R1-0528-Qwen3-8B 上的案例研究显示,外部建议即便未被模型明确提及,也会通过问题表述与填充 token 处的表征显著改变论证框架甚至最终答案。