arXiv cs.LG· Nicholas Stiles, Gregory W. Wornell·· 11 天前AI 评分34
速率约束下的最优多任务表征：一项信息瓶颈分析
Optimal Multitask Representations Under a Rate Constraint: An Information Bottleneck Analysis
AI 导读
研究人员通过多任务信息瓶颈框架，分析了在信息预算限制下哪种预训练目标能为下游任务产生最优表征。针对高斯输入与任务的分析表明，弱任务对齐的专用模型在低速率下优于重构通用模型，但在高速率下会落后；基于平均任务信息矩阵定义的目标则具有受最大任务 SNR 控制的一致相对遗憾界。CelebA 和 dSprites 实验进一步证实，压缩会改变表现最优的预训练目标。
来源：arXiv cs.LG · arxiv.org