arXiv cs.AI· Grant Nasir Brown, Abdul Basir Bari, Anmol Tadikonda, Isabel Song·· 1 天前AI 评分42
P-ContextBench：从个人事实召回到个性化智能体行为的评测基准
P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior
AI 导读
研究者推出评测 LLM 个人上下文理解能力的基准 P-ContextBench，包含 100 个数字人角色、10,088 个隐藏事实、18,261 条应用轨迹片段和 4,810 个已验证测试用例。该基准评估单源与多源事实恢复、时序状态追踪、常规模式推断及约束安全处理五项能力。评测显示主流 SOTA 模型在时序追踪和约束决策等任务上准确率低于 60%，且三次重复运行均答对的用例不足 10%。
来源：arXiv cs.AI · arxiv.org