研究发现非英语提示词的 token 成本显著高于英语

研究机构 CLEAR 的报告显示，AI 模型处理非英语内容所需的 token 数量显著高于英语，形成了隐性的 token 税。在互联网最流行的 20 种语言中，最昂贵语言消耗的 token 是最便宜语言的 1.5 到 5 倍，扩大至 200 种语言时差距最高可达 17 倍。这一差异不仅推高了非英语地区的调用成本，还会造成更高的响应延迟并缩减有效上下文窗口容量。