跳到正文
原文
arXiv cs.AI· Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang, Junjie Ye, Shihan Dou, Ming Zhang, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang·· 11 天前AI 评分35

TIDE:基于模型行为的树归纳细粒度诊断评测

TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

AI 导读

研究团队提出细粒度诊断评测方法 TIDE,通过行为驱动的决策树归纳,利用 LLM 裁判与信息增益递归构建分层能力树。在 4 个 benchmark 和 5 个模型的实验中,TIDE 揭示了总分无法体现的细粒度能力差异:Claude Opus 4.6 在微观经济市场推理达 100%(GPT-5.4 为 83.3%),但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。

来源:arXiv cs.AI · arxiv.org