Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries★ 85
Hugging Face Blog84d agoCommentary隨著 LLM 強化學習（RL）成為顯學，如何優化訓練效率成為關鍵。Hugging Face 評估了 16 個開源 RL 函式庫，指出傳統同步訓練因「生成」與「訓練」運算特性不同，會導致嚴重的 GPU 閒置。本文總結了非同步 RL 訓練（Async RL）的最新技術趨勢，探討如何透過解耦架構與高效記憶體管理，讓 Token 持續流動並最大化吞吐量。
Ulysses Sequence Parallelism: Training with Million-Token Contexts★ 78
Hugging Face Blog85d agoTutorialHugging Face 詳細介紹了 Ulysses 序列平行化（USP）技術。該技術透過在注意力計算前後進行 All-to-All 集合通訊，將序列維度與注意力頭維度進行轉置，使每個 GPU 能在本地高效計算完整序列的子集注意力。相較於傳統的 Megatron-SP 或 Ring Attention，Ulysses SP 具有極低的通訊開銷，並能與 ZeRO-3 完美結合，是訓練百萬級（Million-Token）超長上下文大模型的高效首選方案。
Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective★ 75
Hugging Face Blog126d agoCommentary本文探討如何針對開源 GPT 模型（GPT-OSS）導入自主 Agent 強化學習（Agentic RL）訓練。LinkedIn 團隊分享了他們在訓練過程中的實務經驗與挑戰，包含如何建立有效的獎勵機制、克服訓練不穩定性，並提供了一套可供開發者與研究人員參考的實作回顧，旨在推動開源模型在複雜 Agent 任務中的表現。
Streaming datasets: 100x More Efficient★ 85
Hugging Face Blog218d agoReleaseHugging Face 宣布對其開源 `datasets` 庫的串流（Streaming）模式進行重大升級，效率提升達 100 倍。新版本優化了底層資料讀取架構，顯著降低了記憶體佔用並提高了 I/O 吞吐量。這讓開發者在訓練超大型模型時，無需事先下載數百 GB 的完整資料集，即可實現極速的即時資料餵送，解決了 GPU 因等待資料而閒置的痛點。
Nemotron-Personas-India: Synthesized Data for Sovereign AI★ 75
Hugging Face Blog231d agoReleaseNVIDIA 推出「Nemotron-Personas-India」計畫，旨在解決印度多語言與多元文化訓練數據不足的問題。該項目利用 Nemotron 模型生成具備印度各省分、語言及文化背景的「合成角色（Personas）」數據。這項開源成果將助力印度推動「主權 AI（Sovereign AI）」，讓本土語言模型能更精準地理解在地脈絡。
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training★ 80
Hugging Face Blog298d agoTutorialHugging Face 釋出最新指南，介紹 `accelerate` 的 N 維並行（ND-Parallel）技術，解決單一並行模式在超大模型訓練時的瓶頸。 文章深入探討如何有機結合數據並行（DP）、張量並行（TP）與流水線並行（PP），並透過簡單的設定檔啟用。 本指南特別適合需要跨多節點、多 GPU 進行 LLM 微調或預訓練的開發者與研究人員，能顯著提升硬體利用率（MFU）。
Mini-R1: Reproduce Deepseek R1 „aha moment“ a RL tutorial★ 85
Hugging Face Blog487d agoTutorialHugging Face 的 open-r1 專案推出全新實作教學，旨在重現 DeepSeek-R1 最著名的「頓悟時刻」（自我糾錯能力）。本教學以經典的「倒數遊戲」（Countdown Game）為任務，引導讀者使用強化學習（RL）訓練小模型。透過設計精準的規則與格式獎勵，開發者能親眼見證模型在思考過程中自動發現錯誤並進行修正，是理解 R1 推理機制與 GRPO 演算法絕佳的低成本實作教材。
Fixing Gradient Accumulation★ 85
Hugging Face Blog594d agoTutorial在微調 LLM 時，梯度累積（Gradient Accumulation）常被用來模擬大 Batch Size。然而，Hugging Face 指出，當訓練樣本長度不一時，傳統「直接除以累積步數」的作法會導致數學上的權重偏差。這篇技術部落格詳細解釋了此問題，並介紹了在 Hugging Face Trainer 中引入的全新修正機制，確保梯度累積與真實大 Batch Size 的訓練結果完全一致。
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2★ 80
Hugging Face Blog650d agoTutorial在 LLM 訓練中，傳統的 Padding 會浪費大量算力。Hugging Face 介紹了結合 Flash Attention 2 的 Packing（序列打包）技術，將多個短樣本拼接成固定長度，並利用 FA2 的變長注意力（varlen）避免樣本間干擾。這項優化能顯著提升訓練吞吐量並降低顯存佔用，已整合至 TRL 等工具中。
GaLore: Advancing Large Model Training on Consumer-grade Hardware★ 85
Hugging Face Blog804d agoReleaseHugging Face 介紹了 GaLore（梯度低秩投影）技術，這是一種新型的記憶體優化訓練方法。與 LoRA 不同，GaLore 透過將梯度投影到低秩空間，大幅減少了優化器狀態的記憶體佔用。這使得開發者可以直接在單張 24GB 記憶體的消費級顯卡（如 RTX 4090）上，進行 7B 模型的全參數微調甚至從頭預訓練。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog952d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Leveraging Hugging Face for complex generative AI use cases
Hugging Face Blog1067d agoBusiness本案例研究探討了企業級生成式 AI 平台 Writer 如何與 Hugging Face 深度合作。Writer 透過 Hugging Face 的 Transformers、Accelerate 以及 Text Generation Inference (TGI) 等技術，成功開發並部署了專為企業設計的 Palmyra 系列模型。這不僅大幅降低了模型訓練與推論的成本，更在確保數據隱私與合規性的前提下，為企業客戶提供了高度客製化的 AI 解決方案。
Large-scale Near-deduplication Behind BigCode★ 75
Hugging Face Blog1113d agoTutorial在訓練程式碼大語言模型（如 StarCoder）時，重複資料會嚴重影響模型效能。本文詳細介紹了 BigCode 專案如何利用 MinHash 和局部敏感雜湊（LSH）進行大規模的「近乎重複資料刪除（Near-deduplication）」。透過開源工具 `text-dedup`，BigCode 團隊成功處理了數 TB 的程式碼數據，不僅大幅減少了訓練資料量，還顯著降低了模型對特定程式碼的記憶效應，提升了泛化能力。
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models★ 70
Hugging Face Blog1133d agoBusinessDatabricks 與 Hugging Face 宣布深度合作，針對大型語言模型（LLM）的訓練與微調進行優化。透過將 Hugging Face Transformers 與 Databricks 平台（如 MLflow、TorchDistributor）整合，企業能在安全的湖倉一體架構中更高效地訓練開源模型。測試顯示，此優化方案可將訓練速度提升高達 40%，大幅降低運算成本。
Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1271d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。
How to train a Language Model with Megatron-LM★ 72
Hugging Face Blog1364d agoTutorial這是一篇由 Hugging Face 發布的實用教學，指導開發者如何使用 NVIDIA 的 Megatron-LM 框架來訓練超越單張 GPU 顯存限制的大型語言模型（LLM）。文章深入探討了張量並行（Tensor Parallelism）與流水線並行（Pipeline Parallelism）的核心概念，並詳細說明了從數據準備、訓練配置到最後將 Megatron 權重轉換回 Hugging Face Transformers 格式的完整工作流。
Accelerate Large Model Training using DeepSpeed★ 75
Hugging Face Blog1435d agoTutorial本文介紹 Hugging Face Accelerate 與 Microsoft DeepSpeed 的整合方案。開發者只需透過簡單的 CLI 設定，即可在不修改 PyTorch 程式碼的前提下，啟用 ZeRO-Stage 1/2/3 與 ZeRO-Offload 技術。這大幅降低了單機多卡或多機多卡訓練超大型模型的門檻，有效解決 GPU 記憶體不足（OOM）的痛點。
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale★ 80
Hugging Face Blog1960d agoReleaseHugging Face 宣布在其 Trainer 中整合 Microsoft DeepSpeed 與 Facebook FairScale 的 ZeRO（零冗餘優化器）技術。這項技術透過將優化器狀態、梯度和模型參數分片到多個 GPU 上，顯著降低顯存佔用。開發者現在可以輕鬆在有限的硬體資源下，訓練原本無法容納的超大型 Transformer 模型，並大幅提升訓練效率。