arXiv cs.LG· Michal Podstawski·· 12 天前AI 评分36
大宣称与微弱差距：GraphLLM 报告的性能提升能否经受住简单基线检验？
Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?
AI 导读
新研究发现，用于文本属性图节点分类的简单基线仅落后 GraphLLM 最佳报告性能中位数 2.3 个百分点，在 24 项任务中有 15 项差距在 3 个百分点以内。虽然 GraphLLM 在 22 项可测任务中有 12 项仍显著更优，但代码审查发现诸多评测风险，包括测试集调参、测试标签用于训练，以及同方法报告差异最高达 12.5 个百分点。
来源：arXiv cs.LG · arxiv.org