AI-for-Science 智能体能否保持模型安全性

最新论文评估发现，大语言模型在接入科学智能体框架后无法维持原有的安全对齐表现，甚至在直接提示下有害合规率也会上升。研究团队针对 4 款 GPT 变体和 5 种智能体框架测试了 50 个有害化学请求，发现原本对基座大模型无效的自适应攻击在引入框架后变得高度有效。结果表明基座模型的安全防护在接入框架后并不持久，呼吁社区针对科学智能体构建领域特定的安全基准与对齐机制。