Kolab：长流程工作中人机协作评测基准

研究人员推出人机协作评测数据集 Kolab，包含来自 40 个职业的 50 位专业人士在长流程任务中与 AI 智能体协作的 115+ 小时屏幕录像及质量评估。该基准用于评测智能体预测专家对其产出的采纳情况，以及评估协作满意度和产出质量的能力。测试发现，前沿模型普遍高估协作效果且难以区分协作质量高低，更长的工作流上下文也未能稳定改善预测。