System 1 模型的校准与风险预算决策研究

研究针对缺乏人工兜底的 LLM 工作流与智能体二元决策场景，提出在不确定时采用保守策略并控制假阴性风险的框架。在涵盖审核、安全与重排序的 6 个数据集评测中，朴素阈值选择基准在约半数设定下超出了目标风险，而具备有限样本统计保证的 Learn Then Test（LTT）超标率仅为 7.8%。该结果表明仅依赖类概率接口不足以支撑部署决策。