arXiv cs.AI· Hyojung Han, Ryangkyung Kang, Youngeun Kim, Seung-Hun Jeon·· 13 天前AI 评分35
PTQ 校准何时有益何时有害：量化文本嵌入模型的剂量驱动崩溃与验证门控放弃机制
When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders
AI 导读
研究发现在 e5-base-v2、BGE-M3 和 EmbeddingGemma-300m 的 4-bit 权重量化中，PTQ 校准更新剂量过大会导致模型性能灾难性下降，在 EmbeddingGemma 上的 NDCG@10 变动幅度达 +1.47 至 -71.53。
来源：arXiv cs.AI · arxiv.org