arXiv cs.LG· Abel Gurung, Joseph Campbell·· 4 天前AI 评分35
Bi-Phase Training：高效从零预训练
Bi-Phase Training: Learning Efficiently From Scratch
AI 导读
研究团队提出参数高效预训练方法 Bi-Phase Training（BPT），能在显著减少可训练参数的同时保持全参数优化的高秩动态。在基于 FineWeb-Edu（10B 和 100B tokens）从零预训练 Qwen2.5（100M 至 1.5B）与 OLMo-2-1B 时，BPT 在 1.5B 规模下减少了 66% 可训练参数，取得接近全参数基线的验证困惑度与下游任务表现。
来源：arXiv cs.LG · arxiv.org