跳到正文

#安全/对齐

今日 0 条
10月7日周三
  1. arXiv cs.LG36

    提示词级差分隐私下的奖励驱动学习

    研究人员提出了首个支持提示词级差分隐私的可验证奖励强化学习（RLVR）方法，以防止模型泄露机密训练题目。在 ε=8 隐私预算下使用 LoRA 训练 Qwen2.5-1.5B-Instruct，该方法在 MATH 与 GSM8K 上比私有监督微调高出 2.3 至 3.8 分，保留了非私有 GRPO 85%–90% 的性能增益，并可成功泛化至 CommonsenseQA 任务。

10月5日周一
  1. arXiv cs.AI33

    DNAlign：大语言模型动态零空间安全对齐框架

    DNAlign 是一种面向大语言模型（LLM）的轻量级安全对齐框架，结合控制论优化与零空间投影引导模型安全生成。该框架将受控扰动限制在有害相关子空间中，并利用人类偏好训练的价值函数自适应调节控制信号，在抑制有害内容的同时保护通用知识。在多个 LLM 基座上的测试表明其综合表现优于以往基线且不牺牲生成多样性，代码已开源。

  2. arXiv cs.LG37

    Prompted to Discriminate：提升恶意输入探针在真实场景中的泛化能力

    在用户输入后添加简短分类后缀可显著强化激活探针，在 13 个安全基准及 Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B 上将分布外检测最高提升约 4 个 AUC 点。该增益主要源于分类格式本身而非具体标准，采用无内容标签同样有效，且能扩展至 attention、multi-max 和 MLP 等生产级多位置池化探针。

10月3日周六
10月2日周五
  1. arXiv cs.AI30

    鲁棒即显著：知情对抗者促使最优信号转向显著性极

    研究发现在受限信号博弈中面对知情对抗者时，对抗鲁棒的最优信号会完全转向显著性极。在 20 万个样本池中两者仅在 2,748 个项目上存在差异，且 18.2% 样本的最优信号在有限说服预算下发生偏移。测试显示对抗设定使 7 个语言模型在 108 个样本中的 30 至 77 个改变了选择，但因两者重合而无法实证判定模型是否具备对抗意识。

  2. AWS Machine Learning Blog36

    uniopen 如何定制 Amazon Nova 以适配零售审核策略生产部署

    台湾统一企业集团旗下平台 uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调与提示词优化，以适配其定制零售审核策略。该架构使用 Amazon Nova 2 Pro 生成纠错候选并配合人工复核，基于 3,391 个训练窗口完成微调。结合硬门禁回归测试与软门禁预警机制，团队在 737 个测试窗口上评估并实现了受控的生产环境部署。

10月1日周四
  1. arXiv cs.AI34

    可再生公共资源防崩溃收获：一种拉格朗日框架

    研究提出一种用于可再生公共资源的非平稳拉格朗日框架，通过带指定消耗预算的约束马尔可夫博弈或约束多智能体 MDP，防止多智能体过度消耗导致资源崩溃。该框架基于无约束问题的解构建策略序列，并提供可行性与约束纳什保证。在 Gordon-Schaefer 渔业环境结合约束 IPPO 和 MAPPO 的实验验证了其对资源留存与捕捞奖励的调控效果。

  2. arXiv cs.AI35

    Bits Under ZK-LLM：面向可验证隐私 LLM 推理的零知识友好量化评估

    研究人员系统评估了面向可验证隐私 LLM 推理的零知识友好量化，覆盖 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。结果显示激活精度比权重精度更敏感，且 RMSNorm 平方根倒数查表是主要性能瓶颈，仅针对该瓶颈提高精度即可恢复接近基线的表现。研究还发现降低位宽并不一定会按比例节省端到端证明开销。

  3. arXiv cs.AI39

    安全算子：通过谱优化调节安全指令表达

    研究提出安全算子（Safety Operator），通过谱优化调节 Transformer 模型主特征值，实现对安全指令影响力的连续控制。研究推导出带抑制权重的对比安全损失（Contrastive Safety Loss），用于平衡有害查询强化与无害查询抑制。调整该权重可映射攻击成功率与过度拒绝率的关系，实现安全指令表现的帕累托改进。

  4. arXiv cs.AI56

    CheatBench：用于衡量 AI 智能体奖励操纵与作弊行为的评测基准

    研究团队推出评测基准 CheatBench，用于量化衡量 AI 智能体在数学研究、知识工作、编程及视觉任务中的作弊与奖励操纵（Reward Gaming）行为。该基准将高难度任务与作弊机会相结合，旨在测试智能体在正常完成任务受阻时是否会规避监控、越权访问未授权信息或突破沙箱保护。目前 CheatBench 已公开发布，为跨模型比较和降低智能体作弊倾向提供了系统化测试环境。

9月29日周二
9月22日周二
9月21日周一
9月18日周五
9月3日周四
7月17日周五
7月16日周四
  1. Google DeepMind50

    Google DeepMind 与 Isomorphic Labs 的生物韧性应对方案

    Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案，过去 12 个月推进了超 15 项合作，通过 AI 防范生物风险并应对疫情威胁。方案聚焦预防、检测与响应三大领域：探索将 SynthID 水印技术用于筛查 AI 生成的生物序列，借助 AlphaEvolve 优化病原体监测，并依托 AlphaFold 与 IsoDDE 药物设计引擎加速疫苗及医疗应对方案研发。

6月16日周二
6月10日周三
  1. Google DeepMind50

    Google DeepMind 等发起最高 $10M 资助计划，推进多智能体 AI 安全研究

    Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation 与 ARIA 等机构，面向全球研究人员设立高达 $10M 的资助计划，推进多智能体 AI 安全研究。该计划重点资助沙盒与测试床、智能体网络科学、强化智能体基础设施以及监督与控制四大方向，旨在解决大规模智能体跨网络交互时的群体安全风险。

4月30日周四