跳到正文
原文
arXiv cs.AI· Sumit P. Ahuja·· 11 小时前AI 评分38

置信度门控分层 LLM 推理的可行性条件

A Feasibility Condition for Confidence-Gated Tiered LLM Inference

AI 导读

一项闭式可行性条件明确了置信度门控分层 LLM 推理在何时相比全部直连后端兜底模型不再具备可行性。该分析通过架构成本比率 $\kappa$ 划分本地与上报成本,推导出由无信号下限与完美信号上限限定的区间。结果表明本地计费时成本起核心约束作用,而在沉没成本硬件上分层无条件可行,并据此提炼出三项系统设计要求。

来源:arXiv cs.AI · arxiv.org