跳到正文
原文
arXiv cs.AI· Chao Shang, Wanyu Du, Yi Zhang, Sandesh Swamy·· 11 天前AI 评分45

AgentPolicyForge:从可执行环境到策略基准与自适应防护

AgentPolicyForge: From Executable Environments to Policy Benchmarks and Adaptive Guards

AI 导读

研究提出 AgentPolicyForge 框架,利用可执行环境构建策略基准并迭代训练 AI 智能体的策略防护器(guard)。该框架构建的 PolicyGym 数据集涵盖 10 个策略族,包含 698 个训练场景与 254 个独立的人工复核测试场景。在 PolicyGym 评测中,最终防护配置相比提示词约束将攻击成功率相对降低 40-44%,并减少了良性误拒。

来源:arXiv cs.AI · arxiv.org