算力与数据约束下的合成数据改写缩放定律

新提出的合成数据改写缩放定律将改写算力计入成本，可预测模型大小、训练 tokens 及改写数据比例对模型损失的影响。在算力受限下，最佳改写比例随算力提升从不足 10% 增至 32%，外推训练的 22B 模型以改写器十分之一算力取得更优 BPB。在数据受限场景下，同尺寸改写器训练出的模型在 3B 及以下规模均优于纯自然数据。