arXiv stat.ML· Mijung Park·· 22 天前AI 评分32
用于异构模型输出集成的可优化模型平均法(OMA)
Optimizable Model Averaging for Ensembling Heterogeneous Model Outputs
AI 导读
研究者提出可优化模型平均法(OMA),通过在冻结所有模型参数的前提下最小化正则化预测熵,为各候选模型学习一个非负标量权重以平均预测概率。该黑盒集成方法针对异构基础模型难以进行参数空间合并的问题,通过正则化机制缓解过度自信错误,在特定配置下实现了更低的模型校准误差(ECE)。实验表明其在文本和图像分类任务中取得了优于传统模型输出平均的性能与校准权衡。
来源:arXiv stat.ML · arxiv.org