arXiv cs.AI· P. B. Radha, D. D. Meyerhofer, M. Bhattarai, B. Cheng, L. Diaz, C. L. Rousculp, A. G. Seaton, G. Gupta, P. Gurumurthy, V. Gutta, A. Jhunjhunwala, A. Vem, P. Cook, G. Rowe·· 3 天前AI 评分35
大语言模型的科学应用评估：以惯性约束聚变为例
Assessing Language Models for Scientific Applications: Inertial Confinement Fusion as a Use Case
AI 导读
研究团队构建了包含 250 道题的专家评测基准，以惯性约束聚变（ICF）为案例系统评估大语言模型的物理推理与数值计算能力。测试显示，经领域自适应预训练与监督微调的专用模型 Prospero 综合得分较基础模型提升 10.7 个百分点，前沿模型虽得分最高但仍存在严重物理与数值计算错误。此外，检索增强显著改善了较小模型的表现，但对前沿模型未带来统计学显著提升。
来源：arXiv cs.AI · arxiv.org