arXiv stat.ML· Po-Wei Chen, Shan Yu, Chunlin Li·· 7 天前AI 评分34
HIFI：面向基础模型的高效统计推断框架
HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models
AI 导读
HIFI 是一种面向基础模型的高效统计推断两阶段微调框架，相比直接重抽样可减少高达 91.9% 的训练算力。该框架先通过单次适配控制估计偏差，再利用轻量 PEFT 拟合残差来量化变异性，支持非参数 bootstrap 等多种重抽样方法。其在视觉和文本任务中支持数千万至超过 100 亿参数的模型，可提供精准点估计与良好校准的置信区间。
来源：arXiv stat.ML · arxiv.org