arXiv cs.LG· Conor Igoe, Gabriel Grand, Zane Koch, Albert Bou, Eli Moss, Michaela M. Hinks, Samuel G. Rodriques, Andrew White, Siddharth Narayanan·· 16 小时前AI 评分44
大语言模型懂得何为有力的科学证据吗？
Do Language Models Know What Compelling Scientific Evidence Looks Like?
AI 导读
研究团队推出科学推理基准 EDB-Bio（含 96k 个生物实验片段），发现开源与前沿模型开箱时均存在系统性欠自信，Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度，训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。
来源：arXiv cs.LG · arxiv.org