Fit More and Train Faster With ZeRO via DeepSpeed and FairScale★ 80
Hugging Face Blog·1960d ago·Release
Hugging Face 宣布在其 Trainer 中整合 Microsoft DeepSpeed 與 Facebook FairScale 的 ZeRO(零冗餘優化器)技術。這項技術透過將優化器狀態、梯度和模型參數分片到多個 GPU 上,顯著降低顯存佔用。開發者現在可以輕鬆在有限的硬體資源下,訓練原本無法容納的超大型 Transformer 模型,並大幅提升訓練效率。