如何构建真正衡量审美品味的评测基准 TasteBench

研究团队提出 TasteBench 基准与控制协议，在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露（得分 0.912）及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差，并发布了参考评测套件与随机化工具。