arXiv cs.LG· Qi Xu, Zijie Lei, Zhifei Deng, Zhigang Hua, Luke Simon·· 6 天前AI 评分32
预训练容量何时有益于因果学习？从标量预测到反事实后训练
When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training
AI 导读
一项基于千问（Qwen 2.5）的研究探讨了预训练容量对因果学习的影响，发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一，但显著改善了生成表现。经反事实后训练等完整流程后，CodeGen pass@1 从 0.267 提升至 0.575，干预效果分数由 0.231 升至 0.515。此外，0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。
来源：arXiv cs.LG · arxiv.org