数据混合何时能改善标度律？高维回归带来的理论启示

一项针对高维混合数据回归模型的研究表明，只有当领域间的数据谱与相对样本规模满足特定协同关系时，数据混合才能在理论上证明实现比单一数据集更快的标度律扩展速率。该工作确立了一般协方差结构下的极小化极大风险，并在对齐的幂律谱设定中推导出了显式标度律。语言模型数值实验也证实，合理的数据混合能使目标域测试损失的下降速率快于单领域训练。