Fixing Gradient Accumulation

Hugging Face 修正了梯度累積在處理變長序列時的數學偏差，此更新能顯著提升 LLM 微調的收斂速度與訓練穩定性。

在微調 LLM 時，梯度累積（Gradient Accumulation）常被用來模擬大 Batch Size。然而，Hugging Face 指出，當訓練樣本長度不一時，傳統「直接除以累積步數」的作法會導致數學上的權重偏差。這篇技術部落格詳細解釋了此問題，並介紹了在 Hugging Face Trainer 中引入的全新修正機制，確保梯度累積與真實大 Batch Size 的訓練結果完全一致。

摘要由 AI 整理,以原文為準。