arXiv cs.AI· Aishan Liu, Yisong Xiao, Xianglong Liu, Yongxin Huang, Siyuan Liang, Zonghao Ying, Yang Qu, Jian Yang, Yaodong Yang, Dacheng Tao·· 1 天前AI 评分37
TARGRS：基于状态转换感知奖励引导表征采样的 LLM 去毒框架
LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling
AI 导读
研究人员提出测试期去毒框架 TARGRS，通过在潜在表征空间中建立状态转换感知的 token 级奖励引导，实现从粗到细的表征采样去毒。在 10 个 LLM 上的实验显示，该方法在 RealToxicityPrompts 基准上将毒性最高降低 69.38%，且推理速度接近原始模型。此外，TARGRS 还能扩展至大型视觉语言模型，在 3 个代表性 LVLM 上使毒性最高降低 64.23%。
来源：arXiv cs.AI · arxiv.org