跳到正文
原文
arXiv cs.AI· Hoda Ayad, Tanu Mitra, Abhishek Mukherji·· 29 天前AI 评分43

CuBEs:情境化文化行为评测与忽视文化的 LLM 裁判局限性

CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges

AI 导读

研究提出文化情境化行为评测框架 CuBEs,旨在评估大语言模型在不同文化背景下的行为模式与部署风险。该研究构建了涵盖 12 种文化的人工标注数据集,并对 13 款开源与闭源 LLM 展开评测。结果表明,忽视文化的标准评测会遗漏关键差异,而情境化测试能揭示非西方语境中宗教与殖民政治等全新偏见维度。

来源:arXiv cs.AI · arxiv.org