Token 边界的代价：压缩证书与预测

研究量化了预分词边界对文本压缩的代价，证实切分边界使英语维基百科的最优 token 数量增加 28.3%–36.8%。BPE 高出无约束下界 10.9%，且在 85M 非嵌入参数模型中，无约束压缩会导致 12 种语言的预测位率上升。为此提出的边界许可机制仅放开 10% 词表预算，即可在英文和中文语料中分别恢复 85.2% 与 100.0% 的 token 缩减收益。