arXiv cs.AI· Rahul Sharma, Andrew B. Ducan, Ga\'etan Marceau Caron, Sebastian J. Vollmer·· 25 天前AI 评分34
TypedBench：System One 决策模型校准度、措辞敏感度与成本评测基准
TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
AI 导读
研究团队推出决策模型评测基准 TypedBench，包含 7 个策略标签生成器与 9 个评测套件，专门评估非生成式模型的校准度、措辞敏感度与决策成本。测试覆盖托管模型、开源编码器及 0.8B-9B 参数的开源解码器系列。结果显示托管模型遵循策略但措辞敏感且置信度偏低，解码器在策略问题上准确率最低且随选项增加而性能下降。
来源：arXiv cs.AI · arxiv.org