混合优于调参：数据受限下双语预训练优于超参数搜索

研究表明在数据受限的预训练场景中，混入高资源辅助语言数据的效果全面优于超参数调优。在 150M 至 1.43B 参数规模及约 1000 次预训练实验中，数据混合带来的下游任务准确率提升相当于 2–13 倍目标语言数据量，且差距随模型规模增大而显著拉大。研究建议优先调整双语混合比例而非进行超参数搜索，并通过 μP 迁移超参数。