arXiv stat.ML· Pedro Carvalho Brom·· 6 天前AI 评分41
置信度并非承诺：类型化决策模型的基准审计
Confidence Is Not a Promise: A Reference Audit of Typed Decision Models
AI 导读
针对开源权重模型 Laya 与 API 模型 Jev 1.13 的审计显示，模型输出置信度不等于单次决策保证，基于点估计的阈值在 190 次评估中有 147 次违背了准确率承诺。相比之下，Learn then Test 方法在全部评估中兑现了承诺，而以英文校准的 Jev 在 51 个语言区域中仅有 8 个维持了 95% 准确率。目前该研究的代码与基准数据已公开发布。
来源：arXiv stat.ML · arxiv.org