🔥 Trending today
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training★ 80
Hugging Face Blog298d agoTutorialHugging Face 釋出最新指南，介紹 `accelerate` 的 N 維並行（ND-Parallel）技術，解決單一並行模式在超大模型訓練時的瓶頸。 文章深入探討如何有機結合數據並行（DP）、張量並行（TP）與流水線並行（PP），並透過簡單的設定檔啟用。 本指南特別適合需要跨多節點、多 GPU 進行 LLM 微調或預訓練的開發者與研究人員，能顯著提升硬體利用率（MFU）。
From PyTorch DDP to Accelerate to Trainer, mastery of distributed training with ease★ 75
Hugging Face Blog1320d agoTutorial本指南深入探討了在 PyTorch 中進行分散式訓練的三種層次。首先介紹底層的 PyTorch DDP（Distributed Data Parallel），展示其強大但繁瑣的設定；接著引入 Hugging Face Accelerate，它保留了 PyTorch 的靈活性，同時簡化了多 GPU、TPU 與混合精度的設定；最後介紹高階的 Trainer API，讓開發者只需幾行程式碼就能自動處理完整的分散式訓練流程。這篇文章非常適合想優化模型訓練效率的機器學習工程師。
Introducing 🤗 Accelerate★ 78
Hugging Face Blog1873d agoReleaseHugging Face 推出全新開源庫 Accelerate，旨在簡化 PyTorch 的分佈式訓練流程。開發者無需手動處理複雜的設備分配、混合精度（FP16）縮放或分佈式啟動指令。只需使用 Accelerator 類別包裝模型與數據，即可在單機、多 GPU 或 TPU 環境下直接運行相同的代碼，極大提升開發與部署效率。