arXiv cs.LG· Yifeng Li, Ziang Ni·· 4 天前AI 评分40
测得还是真实？模型衍生测量指标何时可被校正或比较
Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared
AI 导读
针对随机种子和 prompt 导致模型指标波动的现象，该研究提出基于置信上限的有界校正规则，在 500 个模拟单元下将误差减半以上。研究发现 prompt 设置会反转模型排名（如 ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 胜负易位），对此取平均可解决 16 次反转中的 15 次，且跨种子对齐 embedding 坐标将每维信度从 0.003 提高到 0.813。
来源：arXiv cs.LG · arxiv.org