What I’ve been building: ATOM Report, post-training course, finishing my book, and ongoing research★ 70
Interconnects (Nathan L.)48d agoRelease知名 AI 專家 Nathan Lambert 分享了近期四大專案：專注於對齊與開源模型的「ATOM Report」、系統化的「Post-Training（後訓練）」線上實戰課程、即將完稿的 AI 對齊專業書籍，以及持續進行的 LLM 評估與偏好微調研究。這些計畫旨在為開發者與研究人員填補後訓練技術的知識鴻溝。
Open-R1: a fully open reproduction of DeepSeek-R1★ 90
Hugging Face Blog490d agoReleaseHugging Face 宣布啟動 Open-R1 專案，目標是完全重現 DeepSeek-R1 的推理能力。該專案將開源所有訓練配方、資料集與模型權重，並利用 TRL 框架中的 GRPO 演算法進行強化學習。這項計畫將降低開發者構建高效推理模型的門檻，推動開源 AI 社群的推理模型民主化。
Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1271d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。
Proximal Policy Optimization (PPO)★ 70
Hugging Face Blog1397d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，深入探討當前最主流的強化學習演算法「近端策略優化 (PPO)」。文章解析了 PPO 如何透過「剪裁代理目標函數」解決傳統策略梯度法步長過大導致崩潰的問題，並引導讀者使用 Stable-Baselines3 進行實戰演練，是理解 LLM 對齊技術（如 RLHF）的重要基石。
An Introduction to Q-Learning Part 1
Hugging Face Blog1476d agoTutorial本教程為 Hugging Face 深度強化學習課程的第一部分，深入淺出地介紹了 Q-Learning 的基本原理。內容涵蓋強化學習的核心要素（如 Agent、環境、獎勵）、馬可夫決策過程（MDP），以及如何利用 Bellman 方程式更新 Q-table。適合想要踏入強化學習與 RLHF 領域的開發者與研究人員。
An Introduction to Deep Reinforcement Learning★ 75
Hugging Face Blog1490d agoTutorial本指南為 Hugging Face 深度強化學習課程的第一章。文章系統性地介紹了強化學習（RL）的核心架構，包含 Agent 與環境的互動循環、獎勵機制，並深入探討「探索與利用」（Exploration vs. Exploitation）的權衡。最後介紹如何結合深度學習形成 Deep RL，並引導讀者使用 Stable-Baselines3 等開源工具進行實作。