Parcae：利用稳定循环架构以更少参数实现更高性能

Parcae 是一种稳定的循环层模型架构，通过让激活值多次穿过相同网络层增加计算量，有效解决了循环模型训练不稳定的问题。实验显示，Parcae 相比以往循环模型将验证困惑度最高降低 6.3%，其 770M 模型仅用约一半参数便打平了同等数据训练的 1.3B Transformer 性能。此外，该研究首次建立了循环架构的 Scaling Laws，证明计算最优训练需同步增加循环次数与数据量。