arXiv stat.ML· Tomasz Ku\'smierczyk, Eliezer de Souza da Silva, Marcin Sendera·· 7 天前AI 评分35
面向 Bayesian LoRA 的先验预测匹配
Prior Predictive Matching for Bayesian LoRA
AI 导读
研究人员提出针对 Bayesian LoRA 的闭式先验预测匹配估计器，可在微调前直接确定低秩权重更新的先验超参数。理论证明最优先验精度与秩 $r$ 呈 $r^{-1/2}$ 缩放关系，单次估计即可在所有 rank 间泛化。在 RoBERTa-large 上，该方法无需验证数据即可改善预测 NLL 与模型校准度，并展现出具有竞争力的分布外检测能力。
来源：arXiv stat.ML · arxiv.org