arXiv cs.LG· Kshitij Mishra, Salem Lahlou, Nils Lukas·· 19 天前AI 评分43
TRACER：针对间接提示词注入的轨迹正则化训练方法
TRACER: Trace-Regularized Training Against Indirect Prompt Injection
AI 导读
研究人员提出感知部署通道的对抗训练方法 TRACER，通过采样展示包装器、结合证据门控奖励与推理对齐机制，防御大语言模型的间接提示词注入攻击。在 GSM8K 测试中，基于 Qwen2.5-3B-Instruct 的 TRACER 将 RAG 场景下的攻击成功率（ASR）从 65.5% 降低至 6.1%，并保持 78-82% 的干净样本准确率。
来源：arXiv cs.LG · arxiv.org