arXiv cs.LG· Zhangyang Peng, Jingze Shi, Tongyi Zhang, Yuyu Luo·· 22 天前AI 评分35
GIST：面向表格基础模型的生成器状态监督方法
GIST: Generator-state-Informed Supervision for Tabular Foundation Models
AI 导读
研究者提出表格基础模型监督方法 GIST，利用中间生成器状态揭示标签不确定性，并在条件标签分布上平均 query 损失以减少预训练采样方差。在相同预训练计划且不改变模型架构与推理的前提下，GIST 在 TabArena 和 TALENT 基准上提升了 3 种架构的平均排名，在与硬标签对照组的配对数据集比较中胜率达 62.1%。
来源：arXiv cs.LG · arxiv.org