Latest in AI

Fine-tuning Llama 2 70B using PyTorch FSDP★ 72

微調 Llama 2 70B 等超大型模型時，開發者常因多進程重複載入模型而面臨 CPU 記憶體崩潰（OOM）的困境。本文介紹如何結合 PyTorch FSDP（完全分片數據並行）與 Hugging Face Accelerate 的延遲初始化與分片載入技術，在有限的硬體資源下實現記憶體高效的微調流程，大幅降低大模型訓練的門檻。