Latest in AI

Fit More and Train Faster With ZeRO via DeepSpeed and FairScale★ 80

Hugging Face 宣布在其 Trainer 中整合 Microsoft DeepSpeed 與 Facebook FairScale 的 ZeRO（零冗餘優化器）技術。這項技術透過將優化器狀態、梯度和模型參數分片到多個 GPU 上，顯著降低顯存佔用。開發者現在可以輕鬆在有限的硬體資源下，訓練原本無法容納的超大型 Transformer 模型，並大幅提升訓練效率。