arXiv cs.AI· Guy Bar-Shalom, Mor Geva, Fabrizio Frasca, Haggai Maron·· 15 天前AI 评分40
LEMON：基于注意力图等变学习的新 LLM 零样本异常行为监控
LEMON: Equivariant Learning over Attention Maps for Zero-Shot Misbehavior Monitoring on New LLMs
AI 导读
研究者提出了基于图神经网络的在线监控网络 LEMON，利用几何深度学习解决跨模型注意力图不对齐问题，实现对新 LLM 的零样本异常行为监控。LEMON 能够逐 token 处理注意力图，并在每个 token 或每 $W$ 个 token 窗口后以极低成本输出评分。
来源：arXiv cs.AI · arxiv.org