用于快速 FP4 预训练的格式感知融合技术

新研究提出格式感知融合技术，通过协同设计量化生成器、缩放域与消费者布局加速 FP4 预训练。在 Llama-3 8B 的 160B tokens 预训练中，最快定制路径达 37.9K tokens/s/GPU，显著高于 bfloat16 的 18.8K 与 Transformer Engine NVFP 的 27.6K。