vLLM V0 to V1: Correctness Before Corrections in RL★ 75
Hugging Face Blog27d agoOpinionServiceNow AI 發表專文探討 vLLM V0 到 V1 的架構演進。文章指出，在進行大語言模型（LLM）的強化學習（RL）訓練時，底層推理引擎（如 vLLM）的精確度與穩定性至關重要。過去在 V0 版本中，微小的推理偏差或不確定性常導致 RL 訓練難以收斂，迫使研究員進行無謂的演算法修正；而 vLLM V1 透過重構底層，實現了「正確性優先」的設計，大幅提升了 RL 訓練的效率與可預測性。
Reading today's open-closed performance gap★ 75
Interconnects (Nathan L.)43d agoOpinion本文探討了比較開源（如 Llama）與閉源（如 GPT、Claude）模型時，過度依賴單一評估指標（如 MMLU 或 Arena Elo）的盲點。作者指出，基準測試受提示詞敏感度、測試集污染及後訓練（Post-training）策略影響極大。未來，隨著推理期計算（Inference-time compute）與 Agent 應用的興起，評估模型性能的維度將發生根本性轉變。
Ecom-RLVE: Adaptive Verifiable Environments for E-Commerce Conversational Agents★ 75
Hugging Face Blog47d agoReleaseEcom-RLVE 是一個專為電子商務對話 Agent 設計的自適應可驗證環境。它解決了電商 AI 難以在動態場景下評估與確保合規性的痛點。透過模擬多樣化的用戶行為與後台 API，並結合自動驗證機制，開發者能更安全地訓練與測試具備工具調用能力的電商 Agent。
What I’ve been building: ATOM Report, post-training course, finishing my book, and ongoing research★ 70
Interconnects (Nathan L.)48d agoRelease知名 AI 專家 Nathan Lambert 分享了近期四大專案：專注於對齊與開源模型的「ATOM Report」、系統化的「Post-Training（後訓練）」線上實戰課程、即將完稿的 AI 對齊專業書籍，以及持續進行的 LLM 評估與偏好微調研究。這些計畫旨在為開發者與研究人員填補後訓練技術的知識鴻溝。
TRL v1.0: Post-Training Library Built to Move with the Field★ 85
Hugging Face Blog63d agoReleaseHugging Face 旗下熱門的 Transformer 強化學習庫 TRL 正式迎來 v1.0 版本。此版本確立了穩定的 API 設計，並將定位聚焦於「後訓練（Post-Training）」生態系。TRL v1.0 整合了監督微調（SFT）、直接偏好優化（DPO）以及因 DeepSeek 爆紅的群體相對策略優化（GRPO）等主流對齊技術，旨在為開發者提供一個能與快速變革的 AI 領域並肩同行的標準化工具。
Lossy self-improvement★ 75
Interconnects (Nathan L.)72d agoOpinion本文分析了 AI 領域熱議的「自我提升（Self-improvement）」機制。作者指出，雖然模型透過生成合成數據、強化學習（RL）和自我校對確實能實現效能提升，但這個過程是「有損（Lossy）」的。每次迭代都會伴隨資訊流失與誤差累積，因此自我提升並不會導致預言中的「急遽暴漲（Fast Takeoff）」或瞬間的智能爆炸，而是呈現邊際效益遞減的漸進式成長。
Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries★ 85
Hugging Face Blog84d agoCommentary隨著 LLM 強化學習（RL）成為顯學，如何優化訓練效率成為關鍵。Hugging Face 評估了 16 個開源 RL 函式庫，指出傳統同步訓練因「生成」與「訓練」運算特性不同，會導致嚴重的 GPU 閒置。本文總結了非同步 RL 訓練（Async RL）的最新技術趨勢，探討如何透過解耦架構與高效記憶體管理，讓 Token 持續流動並最大化吞吐量。
20x Faster TRL Fine-tuning with RapidFire AI★ 80
Hugging Face Blog193d agoReleaseHugging Face 宣布與 RapidFire AI 合作，在 TRL（Transformer Reinforcement Learning）庫中實現高達 20 倍的微調加速。TRL 是用於 LLM 對齊（如 DPO、PPO）的核心工具，此次整合透過最佳化訓練流程與算子，顯著降低了強化學習微調的時間與算力成本，讓開發者能更高效地進行模型對齊。
Aligning to What? Rethinking Agent Generalization in MiniMax M2★ 75
Hugging Face Blog215d agoOpinion本文探討 MiniMax 在 Agent 領域的最新研究思考。傳統 LLM 對齊（如 RLHF）偏重人類對話喜好，但對需要操作工具、適應動態環境的 AI Agent 而言，這種方式無法提升其泛化能力。MiniMax M2 提出重新定義 Agent 的對齊目標，應從「對齊人類偏好」轉向「對齊環境反饋與任務成功率」，以解決 Agent 在面對未知環境時的泛化瓶頸。
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL★ 85
Hugging Face Blog364d agoReleaseHugging Face 的 TRL 團隊推出與 vLLM 協同部署（Co-located）的新功能。在進行線上強化學習（如 PPO、GRPO）訓練時，生成階段常是效能瓶頸。透過在相同 GPU 上同時運行訓練與 vLLM 推理引擎，此技術能無縫共享權重並利用 vLLM 的高效生成能力，顯著提升 GPU 利用率並縮短整體訓練時間。
🐯 Liger GRPO meets TRL★ 82
Hugging Face Blog373d agoNew ToolHugging Face 的 TRL 團隊宣布與 LinkedIn 開源的 Liger Kernel 整合。此合作針對當前熱門的 GRPO（群體相對策略優化）演算法進行深度優化，能顯著降低訓練時的 GPU 顯存佔用並提升吞吐量。這讓開發者在訓練類似 DeepSeek-R1 的推理模型時，能用更低的硬體門檻實現更高效的強化學習微調。
Open R1: Update #4★ 85
Hugging Face Blog433d agoReleaseHugging Face 釋出 Open R1 專案的第四次技術更新。本階段重點在於提升 TRL 框架中 GRPO（群體相對策略最佳化）的訓練效率與記憶體最佳化，並釋出針對數學與程式碼推理的全新合成資料集。團隊分享了在 Qwen 與 Llama 模型上進行強化學習（RL）訓練的最新評測結果，為開源社群複製 DeepSeek-R1 的推理能力提供更完整的實踐指南。
Open R1: Update #3★ 85
Hugging Face Blog447d agoReleaseHugging Face 發表開源推理模型專案 Open R1 的第三次技術更新。本次更新重點在於釋出基於 Qwen/Llama 的全新推理模型，並詳細公開了使用 TRL 進行 GRPO（群體相對策略優化）的訓練細節。團隊成功解決了訓練中的「獎勵黑客」問題，並開源了完整的訓練數據集與配方，顯著降低了社群重現 DeepSeek-R1 推理能力的門檻。
Open R1: Update #2★ 85
Hugging Face Blog477d agoReleaseHugging Face 釋出 Open R1 專案的第二份進度報告。團隊分享了使用 TRL 庫中的 GRPO 演算法在 Llama-8B 與 Qwen-32B 上進行強化學習（RL）訓練的實戰經驗，成功重現了「頓悟時刻」與推理鏈。本次更新也詳細探討了格式控制、訓練穩定性及在 MATH、AIME 等基準測試上的最新評估數據。
Open-R1: a fully open reproduction of DeepSeek-R1★ 90
Hugging Face Blog490d agoReleaseHugging Face 宣布啟動 Open-R1 專案，目標是完全重現 DeepSeek-R1 的推理能力。該專案將開源所有訓練配方、資料集與模型權重，並利用 TRL 框架中的 GRPO 演算法進行強化學習。這項計畫將降低開發者構建高效推理模型的門檻，推動開源 AI 社群的推理模型民主化。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog540d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
Argilla 2.4: Easily Build Fine-Tuning and Evaluation Datasets on the Hub — No Code Required★ 75
Hugging Face Blog575d agoRelease開源數據標註平台 Argilla 發布 2.4 版本，主打與 Hugging Face Hub 的深度無程式碼整合。用戶現在可以直接在 Hugging Face Spaces 上部署 Argilla，並透過直觀的 UI 介面進行數據導入、協作標註與導出。這大幅降低了為大語言模型（LLM）準備指令微調（SFT）和偏好對齊（DPO）數據集的門檻，讓非技術背景的領域專家也能輕鬆參與數據策劃。
Data Is Better Together: A Look Back and Forward
Hugging Face Blog712d agoReleaseHugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作，解決高品質開源對齊數據不足的痛點。過去一年中，DIBT 透過 Argilla 等工具成功匯聚全球開發者，共同標註與生成了多個高質量的偏好與提示詞數據集。未來，該計劃將進一步擴展任務類型，推動更具包容性與去中心化的 AI 數據生態。
Putting RL back in RLHF★ 80
Hugging Face Blog720d agoRelease近年 DPO 等直接對齊方法因免去強化學習（RL）的複雜度而大受歡迎，但線上 RL 仍有其獨特優勢。Hugging Face 發表部落格介紹在 TRL 庫中實現的 RLOO（REINFORCE Leave-One-Out）演算法。RLOO 透過生成多個樣本並計算「留一法」基準值來降低變異數，不僅免去了 PPO 龐大的 Critic 網路、節省顯存，還能達到與 PPO 相當甚至更好的對齊效果，讓線上 RL 重新成為實用選擇。
Data is better together: Enabling communities to collectively build better datasets together using Argilla and Hugging Face Spaces★ 75
Hugging Face Blog820d agoNew ToolHugging Face 宣布與開源數據標註平台 Argilla 深度整合。使用者現在可以一鍵在 Hugging Face Spaces 上部署 Argilla，邀請社群成員共同進行數據標註、反饋與篩選（如 RLHF/DPO 數據）。這項合作降低了社群協作建構高品質數據集的門檻，有助於推動開源 AI 模型的對齊與優化。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog866d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog952d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Fine-tune Llama 2 with DPO★ 80
Hugging Face Blog1029d agoTutorialHugging Face 釋出實用教學，介紹如何利用 TRL（Transformer Reinforcement Learning）庫中的 DPOTrainer，以「直接偏好優化（DPO）」技術微調 Llama 2。DPO 是一種替代傳統 RLHF 的新穎方法，它不需要訓練獨立的獎勵模型，也不需要複雜的 PPO 強化學習階段，僅需透過人類偏好數據（滿意與不滿意的回答對）即可直接優化模型，大幅降低了對齊（Alignment）的門檻與運算資源。
Can foundation models label data like humans?★ 75
Hugging Face Blog1086d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
StackLLaMA: A hands-on guide to train LLaMA with RLHF★ 80
Hugging Face Blog1154d agoTutorial本指南是 Hugging Face 介紹如何使用 TRL（Transformer Reinforcement Learning）與 PEFT（LoRA）技術，對 LLaMA 模型進行人類回饋強化學習（RLHF）的經典實戰教學。文章以 Stack Exchange 數據集為例，詳細拆解了監督式微調（SFT）、獎勵模型（RM）訓練，以及近端策略最佳化（PPO）三大核心步驟，展示了如何在有限的硬體資源下完成大語言模型的對齊（Alignment）訓練。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1181d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1225d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。
Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1271d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。
Proximal Policy Optimization (PPO)★ 70
Hugging Face Blog1397d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，深入探討當前最主流的強化學習演算法「近端策略優化 (PPO)」。文章解析了 PPO 如何透過「剪裁代理目標函數」解決傳統策略梯度法步長過大導致崩潰的問題，並引導讀者使用 Stable-Baselines3 進行實戰演練，是理解 LLM 對齊技術（如 RLHF）的重要基石。
An Introduction to Q-Learning Part 1
Hugging Face Blog1476d agoTutorial本教程為 Hugging Face 深度強化學習課程的第一部分，深入淺出地介紹了 Q-Learning 的基本原理。內容涵蓋強化學習的核心要素（如 Agent、環境、獎勵）、馬可夫決策過程（MDP），以及如何利用 Bellman 方程式更新 Q-table。適合想要踏入強化學習與 RLHF 領域的開發者與研究人員。