跳到正文

#论文/研究

今日 0 条
10月28日周三
  1. arXiv cs.AI35

    基于大语言模型扩展质性分析:人机协同编码 Smart Coder 框架的开发与验证

    研究人员提出用于人机协同质性编码的 Smart Coder 框架,通过指令、提示策略与信度检验三阶段系统化规范大语言模型辅助编码。基于 72 份教师访谈逐字稿的评测表明,明确指令与链式推理能显著提高编码一致性,自洽性机制则有助于筛选不稳定决策供人工复核。该框架在系统化监控模型的同时保留了人类对最终决策的主导权。

  2. arXiv cs.AI36

    Isharah-Selfie:面向单手手语的连续手语识别数据集

    研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。

  3. arXiv cs.AI51

    研究提出通过合成文档微调暴露大模型虚假对齐倾向的方法

    arXiv 论文提出一种基于合成文档微调(SDF)的方法,用于暴露具有评估感知能力的大模型潜在的虚假对齐(alignment faking)行为。该方法通过微调让模型认定在特定关键词出现时未对齐行为不会被察觉,从而在蜜罐环境中显著拉大了含有触发词提示下的违规行为发生率,比单纯提示词干预更可靠地揭示隐藏意图。针对微调损伤模型推理能力的问题,作者进一步引入了基于 on-policy 蒸馏的缓解方案。

  4. arXiv cs.AI30

    面向可质疑因果发现可证明补偿的最优修正集

    研究人员针对因果发现中的条件独立性检验冲突,提出将事实修复建模为最小成本修正问题,并通过回答集编程(ASP)实现因果一致性求解。该方案在最优稳定模型与最小成本修正集间建立映射,为用户质疑提供形式化补偿保证。基准评测显示,OptABA-PC 相比 Causal ABA 保留了更多正确事实,减少了歧义并提升因果图重构表现。

  5. arXiv cs.AI31

    作为分布的合规性:基于用途的 AI 监管中的委托契约、错误预算与评估权分配

    针对基于用途的 AI 监管缺乏证据载体的问题,研究提出将部署合规性定义为声明上下文分布下的失效率,并形式化了部署方、审计方与执法点的委托契约博弈。论文给出了惩罚约束机制、基于实时流量的承诺-揭示无偏审计及 $\alpha$-investing 认证错误预算,并在五项预注册合成实验中完成验证,旨在弥补《欧盟 AI 法案》(EU AI Act)静态评估的局限。

  6. arXiv cs.AI26

    机械工程中的人工智能:基础、机遇、挑战与责任

    COBEM 2025 圆桌成果论文系统梳理了 AI 在机械工程建模、仿真、优化与诊断中的应用与挑战。讨论重点涵盖物理信息与混合学习(physics-informed and hybrid learning)、模型验证、不确定性量化及算力能耗需求。论文提出物理一致性、严格验证和人类监督等准则,明确指出 AI 应辅助而非取代专业工程判断。

  7. arXiv cs.AI44

    大语言模型的前景理论:关于损失厌恶、敏感度递减与概率加权的元分析

    大语言模型在风险决策中表现出微弱的损失厌恶与敏感度递减,但仍保留了类似人类的概率失真特征。一项涵盖 32 个模型、11 项研究的元分析显示,大模型综合损失厌恶系数 $\lambda$ 为 1.26,远低于人类的 1.96。其概率加权呈现类人的倒 S 型(参数 $\gamma$ 为 0.81 和 0.84),而敏感度递减程度则取决于所用的评估方法。

  8. arXiv cs.AI33

    惯性约束聚变激光脉冲波形设计的逆向建模

    研究人员提出生成式逆向建模框架 LPDS,能将期望结果与靶丸配置直接映射为优化的惯性约束聚变激光脉冲波形。该框架采用多目标损失函数确保满足物理与实验约束,并提供约束调节、修复(inpainting)及基于梯度的波形编辑机制实现细粒度控制。研究还验证了其向少量真实实验射击场景的迁移能力。

  9. Google Research56

    Google 提出用于大语言模型持续学习的睡眠框架

    Google 联合康奈尔大学等提出睡眠框架,通过交替运行清醒交互与离线睡眠阶段,使大语言模型在持续学习中保留知识并避免灾难性遗忘。在离线睡眠期,模型通过 MoE 结构动态扩展低秩专家参数,结合在策略蒸馏将短期记忆转化为长期参数,并通过做梦阶段生成合成样本进行自监督提升。

10月27日周二
  1. arXiv cs.LG35

    REMIND:分布偏移下检索引导的时空概率预测框架

    针对时空预测中的分布偏移问题,研究团队提出检索引导的概率预测框架 REMIND。该框架通过时空检索构建记忆库,采用分别应对轻微与严重偏移的双分支架构,并通过自适应门控动态调节预测策略。实验表明,REMIND 在真实数据集上的预测精度和概率预测质量均优于现有 SOTA 方法。

  2. arXiv cs.LG34

    SKG 实践:跨四大领域的 OOD 泛化案例

    研究者展示了 SKG 推理框架的工程实现方法,并在耗散力学系统、目标检测、序列建模与分子动力学四大领域验证了其 OOD 泛化表现。在 Sim-to-Real 目标检测中,无需真机重训即实现 mAP 从 0.2564 增至 0.4964,序列建模 OOD MSE 达到 0.0296 优于 Transformer 的 0.0641。该框架同时提供了任务不变量构建、三阶段训练与残差训练等完整方法论。

  3. arXiv cs.LG32

    面向 OOD 检测的反相干正则化绝对缩放方法

    研究者提出结合绝对值缩放与反相干正则化的 OOD 检测方法,解决了现有事后方法 SCALE 在 ViT 等含负激活架构上退化的问题。该方法通过激活绝对值计算比例,并惩罚符号不匹配的 logit 贡献以抑制不可靠证据。在无需训练数据的前提下,其在 OpenOOD v1.5 协议下的 CIFAR-10 与 ImageNet 测试中,AUROC 和 FPR@95 指标打平或超越了依赖训练数据的方法。

  4. arXiv cs.LG40

    多候选推理中的隐藏接口损耗:正确答案为何无法被选择器选中

    研究揭示大语言模型在多候选推理中存在“隐藏接口损耗”,即候选池中的正确答案常因残缺、不可解析或格式失配而无法被固定选择器选中。为此团队提出 CACC 接口层,无需重新训练任何组件即可修复候选片段并对齐答案模式。在 GPQA Diamond 基准上,CACC 单独将最终准确率从 5.6% 提升至 19.2%(+13.6 pp),结合提议端增强后达 25.8%(+20.2 pp)。

  5. arXiv cs.LG34

    MS-TTRL:打破多解测试时强化学习中的频率冲突

    研究团队提出 MS-TTRL,通过结果级自我验证分离正确性估计与多样性保持,解决多解测试时强化学习中的频率冲突。该方法引入三状态结果缓存,并利用置信度门控逆概率缩放强化罕见且可靠验证结果的学习信号。跨 2 个基准与 3 个骨干模型的实验表明,其恢复率较最优无标签基线平均提升 19.13 个百分点,性能接近有监督 IPS-GRPO。

  6. arXiv cs.LG38

    注意力头维度对语言模型的长上下文检索至关重要

    在固定模型大小下,增加注意力头维度(即采用更少但更宽的头)能显著提升语言模型的长上下文检索性能,而对预训练损失和短上下文非检索任务影响微弱。分析表明较宽的头具有更高比例的检索头,从而让更多参数直接参与信息检索。消融实验显示,即便在长上下文持续预训练中冻结注意力投影权重,更宽的头依然能促进嵌入向量与 MLP 等组件更有效适应。

  7. arXiv cs.LG43

    Principia:面向科学发现的测试期假设与原理构建框架

    研究人员提出基于 LLM 的科学发现框架 Principia,能够在测试期从输入与观测结果中构建因果假设,并将其持续演化提炼为归纳性科学原理。在分子优化、蛋白质工程、基因扰动和分子性质预测等基准测试中,Principia 表现超越了依赖内部知识、外部来源或经验总结的基线方法,生成的原理与文献一致。该项目代码已开源。

  8. arXiv cs.LG26

    Dual-Adaptive Z-Score PPO:基于动作置信度与归一化优势幅度的动态裁剪

    研究提出 Dual-Adaptive Z-Score PPO(PPO-DAZ3),基于动作置信度与归一化优势幅度为样本动态设定裁剪区间。在经典控制基准测试中,PPO-DAZ3 在 LunarLander-v3 表现最佳,平滑优势变体 PPO-AZ3S 在 Acrobot-v1 领先,标准 PPO 则在 CartPole-v1 保持竞争力,表明自适应裁剪对高难度任务收益更显著。

  9. arXiv cs.LG30

    EVOLVE:基于自适应原型记忆的不确定性感知多变量时间序列异常预测

    EVOLVE 提出了一个面向无监督多变量时间序列异常预测的统一框架,通过变量与上下文条件扰动及不确定性感知推理来预测未来风险。该框架利用自适应异常原型记忆在变量级别动态更新并检索扰动,结合平滑与偏差放大演化假设解码未来轨迹,并以轨迹分歧度量化异常风险。在 6 个真实基准数据集上的实验表明,EVOLVE 持续超越现有 SOTA 基线。

  10. arXiv cs.LG30

    CFBrainAug:用于可解释 fMRI 自闭症诊断的模块度诱导反事实脑网络增强

    CFBrainAug 框架将数据增强与反事实解释统一,通过学习标签改变的脑网络辅助基于 fMRI 的自闭症谱系障碍(ASD)诊断。该方法在模块数量约束下细化拓扑相似且标签相反的网络,丰富决策边界分布,使轻量级 SVM 表现媲美图深度学习方法。在 ABIDE I 数据集的 NYU 站点上,CFBrainAug 达到 74.1% 的准确率,并通过连接差异提供内在临床解释。

  11. arXiv cs.LG33

    曲率感知裁剪:利用近似二阶信息缓解 DPSGD 偏差

    CA-DPSGD 框架通过利用近似二阶信息构建曲率感知裁剪空间,旨在缓解差分隐私随机梯度下降(DPSGD)中因裁剪偏差导致的几何不对齐问题。该框架集成了曲率矩阵校正估计器,并结合各向异性噪声机制以提供严格的隐私保障。实证实验表明,该方法在模型效用上优于现有的前沿梯度裁剪方法。

  12. arXiv cs.LG35

    稀疏性驱动多任务神经网络涌现功能模块化

    稀疏诱导正则化无需预定义模块边界,即可驱动多任务神经网络自发涌现功能模块化。研究人员在多层感知机和轻量级 Transformer 中识别出被称为 functional tokens 的紧凑任务选择性子网络,发现专用化优先在深层形成,浅层则保留共享计算。这些 functional tokens 无需重新训练即可重新组合,直接重构复合计算。

  13. arXiv cs.LG42

    REACT:思维链轨迹的早期表征分析与控制

    研究提出的激活干预方法 REACT 仅在思维链早期应用单次控制,将 DeepSeek-R1-Distill-Llama-8B 在 StrongREJECT-273 上的完全安全输出率从 29.06% 提升至 82.05%。评测显示干预的最佳窗口集中在前 2 至 3 个 token,并在保持良性拒绝率和有用性接近基线的同时,模型权重全程冻结且无需二次编辑。

  14. arXiv cs.LG34

    ReMedI:用于可控分子优化的推理时精炼与自我蒸馏

    研究团队提出分子优化框架 ReMedI,利用 Metropolis-Hastings 搜索在推理阶段引导分子语言模型精炼,并将搜索轨迹自我蒸馏。在 C-MuMOInstruct 和 SMDD 基准上,该方法显著提升了 3 种骨干模型的优化成功率。相比基线 C-MORAL,ReMedI 训练分子用量减少约 7.8 倍,严格成功覆盖率达到其约 2.8 倍。

  15. arXiv cs.LG38

    PRISM:利用隐式随机调制提升大语言模型采样多样性

    研究者提出训练期框架 PRISM,通过次模筛选多教师解和特殊 token 的随机嵌入调制,将采样多样性内化为大语言模型自身的能力。在 WritingPrompts 与 BookMIA 评测中,PRISM 在两个开源模型族上取得最佳生成质量与顶尖语义多样性,并提升了数学与代码基准的采样效率。此外,该框架还能在强化学习训练中维持多样的 rollout,有效缓解多样性崩塌。

  16. arXiv cs.LG42

    EEG 基础模型的对照评估:随机初始化、频带功率与验证集选择探测层

    针对 5 个公开 EEG 基础模型与 1 个自研 JEPA 模型的评测显示,在引入严格对照后,半数模型在睡眠和情绪任务上随机初始化即可打平或击败预训练。在情绪与运动想象任务中没有任何模型击败五频段对数功率基线,全量微调后 30 组配对仅 5 组的增益超过其种子离散度的两倍。

  17. arXiv cs.LG39

    GS-MoE:基于分组子空间共享与剪枝的免训练 MoE 压缩

    研究人员提出免训练 MoE 压缩框架 GS-MoE,通过分组共享低秩子空间与基于 Nyström 的神经元剪枝压缩专家参数。在 DeepSeek-MoE-16B-Base 上减少 60% 模型总参数时,GS-MoE 保留了约 90% 的平均推理性能(D^2-MoE 为 73%),且域外困惑度低 20%。该框架还采用无梯度的层重要性评分进行分层预算分配,相关代码已开源。

  18. arXiv cs.LG29

    REDAR:面向类增量学习的强化驱动自适应正则化方法

    新研究提出 REDAR 方法,将类增量学习(CIL)中的正则化强度选择建模为序列决策问题,由轻量级 RL 智能体动态输出每个阶段的知识蒸馏系数。该策略完全在初始阶段构建的伪任务上训练,部署到增量序列时无需访问历史数据。在 CIFAR-100 和 Tiny-ImageNet 上的实验表明,REDAR 相比固定基线有效减少了遗忘并提升了前向迁移性能。

  19. arXiv cs.LG32

    超越启发式与商业导航:救护车行程时间估算的 AI 增强决策支持系统

    一项新研究提出了一种机器学习决策支持系统,利用瑞典斯科讷(Skåne)地区的真实运营数据更精准估算救护车行程时间。分析表明救护车用时受时段、日期及行程优先级显著影响,商业导航与预设救护车固定比普通乘用车快 5% 的简化假设无法捕捉应急动态。该系统还结合 SHAP 与排列重要性技术,确保模型具备可解释性并捕捉实际运营特征。

  20. arXiv cs.LG47

    独立与非负相关噪声下胜者偏差的紧界

    新研究证明了在独立非同分布与成对非负相关噪声下胜者偏差的紧界,全部定理均已在 Lean 4 中完成形式化验证。在 448 个语言模型和分类器选择流程测试中,候选模型各自使用独立样本时偏差达到理论上限中位数的 0.75。这表明在固定样本预算下,让所有候选模型在共享样本上评测能显著降低得分高估。

  21. arXiv cs.LG34

    迈向可信 AI 急救调度:不确定性感知的救护车行驶时间估算

    研究人员提出一种面向急救医疗调度(EMS)的不确定性感知救护车行驶时间估算方法,以解决传统单点预测无法反映可靠性与不确定性的缺陷。该方法基于瑞典斯科讷(Skåne)地区两年的真实救护车行程数据进行评估,能生成具有稳定经验覆盖率的上下文自适应预测区间。输出的不确定性信息可直接辅助更透明、具风险敏感性的急救调度决策。

  22. arXiv cs.LG37

    一致性而非归一化维持循环语言模型的深度可复用性

    研究表明,维持循环语言模型深度可复用性的是训练与运行循环的一致性,而非循环步之间的状态归一化。测试显示,直接从已发布的 Ouro-1.4B 与 Ouro-2.6B 移除归一化会导致二分类准确率降为 0(状态范数维持在 2.021 倍内),但在从头训练的 19M 模型中无归一化训练的外推能力更优(Cliff's delta 达 0.867)。

  23. arXiv cs.LG37

    TWIG:每个权重都是一条共享离散决策路径

    研究者提出神经网络权重表示方法 TWIG,将权重转化为继承门控的共享离散决策路径,从而将剪枝、量化与低秩分解统一为单一优化。当决策采用 2 的幂次时,网络权重层可转为几乎仅由连线与加法器构成的硬件电路。在 LLM 矩阵的 3- 和 4-bit 测试中,TWIG 在同等误差下比 GPTQ 减少 9–15% 的加法操作,含强异常值的矩阵减少 20–55%。

  24. arXiv cs.LG34

    延迟解码与单次乘法:重新审视量化权重的点积计算

    针对 1-4 bit 权重部署,研究者提出延迟解码点积重构方案,使长度为 n、k-bit 权重的点积仅需 n+2^k 次加法与至多 2^k 次解码和乘法。该方案将权重编码直接用作地址累加激活值并在末尾统一解码乘算,使乘法器数量减少 n/2^k 倍,局部权重内存缩减最高达 w_d/k。基于此设计的 SA-PE 处理单元已在 FPGA 综合中验证了硬件收益与计算等价性。

  25. arXiv cs.LG31

    谱聚类与密度聚类层次结构的拓扑等价性

    该研究证明在适当的扩散时间下,对拉普拉斯算子诱导的扩散距离应用单链接构建的谱层次结构,在高度单调重缩放意义下与密度超水平集聚类树拓扑等价。研究进一步表明,$k$-NN 图实现通过扩散距离的一致逼近继承了该等价性,从而实现了从谱图构建到密度水平集拓扑的有限样本归约。