vLLM V0 to V1: Correctness Before Corrections in RL★ 75
Hugging Face Blog27d agoOpinionServiceNow AI 發表專文探討 vLLM V0 到 V1 的架構演進。文章指出，在進行大語言模型（LLM）的強化學習（RL）訓練時，底層推理引擎（如 vLLM）的精確度與穩定性至關重要。過去在 V0 版本中，微小的推理偏差或不確定性常導致 RL 訓練難以收斂，迫使研究員進行無謂的演算法修正；而 vLLM V1 透過重構底層，實現了「正確性優先」的設計，大幅提升了 RL 訓練的效率與可預測性。
Waypoint-1.5: Higher-Fidelity Interactive Worlds for Everyday GPUs★ 75
Hugging Face Blog54d agoReleaseHugging Face 發表 Waypoint-1.5，這是一款專為消費級 GPU 優化的互動式世界模擬器。相較於前代，它在提升視覺與物理保真度的同時，大幅降低了硬體門檻。這讓研究人員與開發者能在單張家用顯示卡上，高效進行具身智能（Embodied AI）與強化學習代理的訓練，加速 AI 與物理世界互動的研究。
Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries★ 85
Hugging Face Blog84d agoCommentary隨著 LLM 強化學習（RL）成為顯學，如何優化訓練效率成為關鍵。Hugging Face 評估了 16 個開源 RL 函式庫，指出傳統同步訓練因「生成」與「訓練」運算特性不同，會導致嚴重的 GPU 閒置。本文總結了非同步 RL 訓練（Async RL）的最新技術趨勢，探討如何透過解耦架構與高效記憶體管理，讓 Token 持續流動並最大化吞吐量。
From games to biology and beyond: 10 years of AlphaGo’s impact★ 75
Google DeepMind Blog85d agoCommentary2016 年 AlphaGo 歷史性擊敗圍棋世界冠軍李世乭，開啟了現代 AI 的新紀元。十年過去，Google DeepMind 回顧這項技術如何演變，從 AlphaZero、MuZero 到徹底改變生物學的 AlphaFold。AlphaGo 奠定的強化學習與搜尋演算法，如今正持續加速材料科學、核融合及氣象預測等科學突破，成為邁向 AGI 的關鍵基石。
Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective★ 75
Hugging Face Blog126d agoCommentary本文探討如何針對開源 GPT 模型（GPT-OSS）導入自主 Agent 強化學習（Agentic RL）訓練。LinkedIn 團隊分享了他們在訓練過程中的實務經驗與挑戰，包含如何建立有效的獎勵機制、克服訓練不穩定性，並提供了一套可供開發者與研究人員參考的實作回顧，旨在推動開源模型在複雜 Agent 任務中的表現。
Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad★ 90
Google DeepMind Blog221d agoReleaseGoogle DeepMind 宣布，搭載全新「Deep Think」思考技術的進階版 Gemini 模型，在國際奧林匹亞數學競賽（IMO）的測試中正式達到了金牌得主的水準。這項突破展示了 AI 在處理極具挑戰性的代數、組合數學、幾何和數論等複雜推理問題上的巨大進步。此成果不僅是 AI 數學推理能力的里程碑，也代表著強化學習與系統化思考（System 2 thinking）在大型語言模型上的成功應用。
Bringing AI to the next generation of fusion energy★ 75
Google DeepMind Blog221d agoBusinessGoogle DeepMind 宣布與麻省理工學院衍生企業 Commonwealth Fusion Systems (CFS) 展開合作。雙方將結合 DeepMind 的強化學習（RL）與 AI 模擬技術，以及 CFS 的高磁場托卡馬克裝置 SPARC，共同解決核融合反應爐中超高溫電漿控制的難題，加速商業化核融合能源的到來。
Rethinking how we measure AI intelligence★ 78
Google DeepMind Blog222d agoNew ToolGoogle DeepMind 發表全新開源平台「Game Arena」，旨在解決傳統 AI 基準測試逐漸失效的問題。該平台讓不同的前沿 AI 模型在具有明確勝負規則的遊戲環境中進行直接對決。透過這種動態且具對抗性的方式，Game Arena 能更精準、客觀地評估 AI 的決策與推理能力，為 AI 領域提供更具公信力的衡量標準。
Kimina-Prover-RL★ 80
Hugging Face Blog292d agoReleaseHugging Face 的 AI-MO（AI 數學奧林匹亞）團隊發表全新項目 Kimina-Prover-RL，專注於自動定理證明（ATP）。該項目透過強化學習（RL）引導模型在 Lean 等形式化環境中進行證明搜尋，是開源社群追趕 DeepMind AlphaProof 的重要里程碑，為複雜數學推理與形式化驗證提供了可重現的 RL 訓練框架與模型。
PipelineRL★ 75
Hugging Face Blog402d agoReleaseServiceNow 在 Hugging Face 博客上介紹了全新開源項目 PipelineRL。該項目旨在將強化學習（RL）技術應用於複雜的 AI 與 LLM 工作流管線優化中。透過 PipelineRL，開發者可以更有效地訓練和調整多步驟代理（Agent）系統，解決傳統靜態管線難以應對的動態決策與資源分配挑戰。
[AINews] OpenAI o3, o4-mini, and Codex CLI★ 90
TLDR AI (Buttondown)411d agoReleaseOpenAI 正式發表新一代推理模型 o3 與 o4-mini，強調透過 10 倍強化學習（RL）算力提升推理效率。o4-mini 不僅價格更便宜，在多項指標、視覺與工具調用能力上皆有顯著進步。此外，OpenAI 還驚喜推出了完全開源的終端機 AI 工具 Codex CLI，直接對標 Anthropic 的 Claude Code。
Open-R1: Update #1★ 85
Hugging Face Blog485d agoReleaseHugging Face 發表 Open-R1 專案的第一階段更新，旨在完全開源重現 DeepSeek-R1。團隊目前專注於利用 TRL 庫中的 GRPO 演算法進行強化學習訓練，並已釋出初步的訓練配方、資料集與評估結果。報告中也探討了推理模型訓練中常見的「獎勵作弊（Reward Hacking）」與格式控制等技術挑戰。
Mini-R1: Reproduce Deepseek R1 „aha moment“ a RL tutorial★ 85
Hugging Face Blog487d agoTutorialHugging Face 的 open-r1 專案推出全新實作教學，旨在重現 DeepSeek-R1 最著名的「頓悟時刻」（自我糾錯能力）。本教學以經典的「倒數遊戲」（Countdown Game）為任務，引導讀者使用強化學習（RL）訓練小模型。透過設計精準的規則與格式獎勵，開發者能親眼見證模型在思考過程中自動發現錯誤並進行修正，是理解 R1 推理機制與 GRPO 演算法絕佳的低成本實作教材。
Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent★ 75
Hugging Face Blog771d agoReleaseHugging Face 發表通用型代理人 JAT（Jack of All Trades），採用統一的 Transformer 架構，在 Atari、BabyAI、Meta-World 等多種強化學習環境與文字任務上進行聯合訓練。此研究展示了單一模型如何同時掌握多種不同領域的技能，並開源了數據集與模型權重，推動具身智能發展。
Finetune Stable Diffusion Models with DDPO via TRL★ 75
Hugging Face Blog977d agoReleaseHugging Face 宣布在其 TRL（Transformer Reinforcement Learning）庫中支援 DDPO（去噪擴散策略優化）演算法。這項更新允許開發者與研究人員使用強化學習（RL）來微調 Stable Diffusion 等擴散模型。透過自訂的獎勵函數（如美學評分或提示詞對齊度），DDPO 能有效引導模型生成更符合特定目標的圖像，解決了傳統監督式微調難以優化複雜指標的痛點。
Introducing ⚔️ AI vs. AI ⚔️ a deep reinforcement learning multi-agents competition system
Hugging Face Blog1211d agoReleaseHugging Face 發表全新的「AI vs. AI」多智能體競賽系統，結合深度強化學習（DRL）與遊戲環境。開發者可將訓練好的智能體上傳至 Hugging Face Hub，系統會自動安排對戰並以 Elo 評分系統進行即時排名。首波活動以 Unity ML-Agents 的足球遊戲展開，旨在推動多智能體強化學習的社群發展。
Train your first Decision Transformer★ 72
Hugging Face Blog1363d agoTutorial本教學為 Hugging Face 官方指南，介紹如何訓練第一個 Decision Transformer (DT)。DT 將強化學習（RL）重新框架為序列建模問題，利用 Transformer 架構預測動作。教學涵蓋離線強化學習（Offline RL）的概念、如何使用 Hugging Face 的 `transformers` 庫與 `DecisionTransformerModel`，並在 Gym 環境中進行實作與評估，是結合 NLP 技術與控制任務的經典入門。
Proximal Policy Optimization (PPO)★ 70
Hugging Face Blog1397d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，深入探討當前最主流的強化學習演算法「近端策略優化 (PPO)」。文章解析了 PPO 如何透過「剪裁代理目標函數」解決傳統策略梯度法步長過大導致崩潰的問題，並引導讀者使用 Stable-Baselines3 進行實戰演練，是理解 LLM 對齊技術（如 RLHF）的重要基石。
Advantage Actor Critic (A2C)
Hugging Face Blog1411d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，詳細解析 Advantage Actor Critic (A2C) 演算法。A2C 結合了 Actor（負責決策）與 Critic（負責評估）的優勢，並透過優勢函數（Advantage Function）降低變異數，提升訓練穩定度。讀者將學習其核心數學原理，並了解如何實作與訓練 AI 代理人。
Policy Gradient with PyTorch
Hugging Face Blog1433d agoTutorial本文為 Hugging Face 深度強化學習課程的第四單元，詳細介紹了策略梯度（Policy Gradient）與 REINFORCE 演算法的理論基礎。讀者將學習如何使用 PyTorch 建立策略網路、進行動作採樣、計算損失函數並更新權重。最後，教學還包含如何將訓練好的 Agent 部署並分享至 Hugging Face Hub。
Deep Q-Learning with Space Invaders
Hugging Face Blog1456d agoTutorial本文為 Hugging Face 深度強化學習（Deep RL）課程的第三單元，專注於「深度 Q 學習（Deep Q-Learning, DQN）」。文章詳細介紹了 DQN 的核心概念（如時間差分學習、經驗回放與目標網路），並手把手教學如何使用 Stable-Baselines3 程式庫訓練一個能玩經典街機遊戲《Space Invaders》的 AI 代理人，最後將模型上傳至 Hugging Face Hub。
An Introduction to Q-Learning Part 2/2
Hugging Face Blog1474d agoTutorial本文為 Hugging Face 深度強化學習系列教程中 Q-Learning 的後半部分。內容專注於 Q-Learning 演算法的具體執行步驟，詳細解析 Epsilon-Greedy 策略如何平衡「探索與利用」，並引導讀者使用 Python 與 Gymnasium 庫在 FrozenLake 等經典環境中從零實作 Q-Table，最後將訓練好的 Agent 上傳至 Hugging Face Hub。
An Introduction to Q-Learning Part 1
Hugging Face Blog1476d agoTutorial本教程為 Hugging Face 深度強化學習課程的第一部分，深入淺出地介紹了 Q-Learning 的基本原理。內容涵蓋強化學習的核心要素（如 Agent、環境、獎勵）、馬可夫決策過程（MDP），以及如何利用 Bellman 方程式更新 Q-table。適合想要踏入強化學習與 RLHF 領域的開發者與研究人員。
An Introduction to Deep Reinforcement Learning★ 75
Hugging Face Blog1490d agoTutorial本指南為 Hugging Face 深度強化學習課程的第一章。文章系統性地介紹了強化學習（RL）的核心架構，包含 Agent 與環境的互動循環、獎勵機制，並深入探討「探索與利用」（Exploration vs. Exploitation）的權衡。最後介紹如何結合深度學習形成 Deep RL，並引導讀者使用 Stable-Baselines3 等開源工具進行實作。
Introducing Decision Transformers on Hugging Face 🤗
Hugging Face Blog1527d agoReleaseHugging Face 宣布在其 transformers 函式庫中正式支援 Decision Transformer (DT)。此模型顛覆傳統強化學習（RL）方法，不使用價值函數或策略梯度，而是將狀態、動作與目標回報視為序列，利用類似 GPT 的自注意力機制來預測下一步動作。這項整合大幅降低了離線強化學習（Offline RL）的門檻，讓開發者能用熟悉的 Transformer 工具鏈進行決策模型的訓練。
Welcome Stable-baselines3 to the Hugging Face Hub 🤗
Hugging Face Blog1593d agoNew ToolHugging Face 宣布將熱門的 PyTorch 強化學習庫 Stable-baselines3 (SB3) 整合至 Hugging Face Hub。開發者現在可以使用簡單的 API 儲存和載入訓練好的 RL 代理人（Agents），並在社群中分享。此整合還支援在瀏覽器中直接預覽代理人的運行畫面，大幅降低了強化學習模型的分享與協作門檻。
Introducing Snowball Fight ☃️, our first ML-Agents environment
Hugging Face Blog1643d agoReleaseHugging Face 推出其首個 Unity ML-Agents 虛擬環境「Snowball Fight」（打雪仗）。此環境旨在提供一個趣味且具挑戰性的平台，讓開發者與研究人員能夠訓練、測試並分享他們的深度強化學習（DRL）模型。使用者可以利用 Unity ML-Agents 工具包進行訓練，並將訓練好的 Agent 模型上傳至 Hugging Face Hub 進行交流與對戰。