记忆长尾数据可通过组合提升模型泛化能力

记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明，在线性设定下，记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测，即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明，该结论可拓展至线性设定之外，且模型的组合能力取决于其网络架构。