本指南介紹如何結合 Hugging Face Transformers 與 Intel Habana Gaudi (HPU) 進行 BERT 模型的預訓練。透過 optimum-habana 整合,開發者只需修改幾行程式碼,即可將訓練任務轉移至 Gaudi 晶片,大幅提升訓練效率並降低成本。文章提供完整的程式碼範例與配置步驟,適合需要大規模預訓練自訂模型的工程師。
Hugging Face 與 Intel Habana Labs 合作推出 optimum-habana 庫。開發者只需將標準的 Trainer 替換為 GaudiTrainer,即可在 AWS DL1 等 Gaudi 實例上進行高效能、低成本的 Transformer 模型訓練。這為 NVIDIA 之外的 AI 晶片生態系提供了一個強大的替代方案,能有效降低高達 40% 的訓練成本。