Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1271d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。
From GPT2 to Stable Diffusion: Hugging Face arrives to the Elixir community★ 70
Hugging Face Blog1271d agoReleaseElixir 官方與 Hugging Face 合作推出 Bumblebee 專案，將主流的深度學習模型引入 Elixir 生態系。 基於 Nx 與 Axon 框架，開發者無需依賴 Python，即可在 Elixir 中直接載入並運行 GPT-2、Stable Diffusion 等模型。 搭配 Livebook 的智慧儲存格（Smart Cells），開發者只需點擊幾下，就能在數秒內部署並測試各種 AI 應用。
Generating Human-level Text with Contrastive Search in Transformers 🤗★ 70
Hugging Face Blog1302d agoReleaseHugging Face 介紹了全新解碼方法「對比搜索（Contrastive Search）」，現已整合至 Transformers 庫中。該方法透過引入「退化懲罰」機制，在保持模型預測概率的同時，避免生成與前文語意重複的詞彙。相比傳統的束搜索（Beam Search）或隨機採樣（Sampling），對比搜索能生成更具連貫性、多樣性且無重複的長文本，達到接近人類寫作的水準。
How to train a Language Model with Megatron-LM★ 72
Hugging Face Blog1364d agoTutorial這是一篇由 Hugging Face 發布的實用教學，指導開發者如何使用 NVIDIA 的 Megatron-LM 框架來訓練超越單張 GPU 顯存限制的大型語言模型（LLM）。文章深入探討了張量並行（Tensor Parallelism）與流水線並行（Pipeline Parallelism）的核心概念，並詳細說明了從數據準備、訓練配置到最後將 Megatron 權重轉換回 Hugging Face Transformers 格式的完整工作流。
Training CodeParrot 🦜 from Scratch
Hugging Face Blog1637d agoTutorialHugging Face 詳細公開了 CodeParrot 專案的訓練全紀錄，展示如何從零開始構建一個專門用於 Python 程式碼生成的 GPT-2 規模模型。 文章深入探討了大規模 GitHub 數據集的清洗與去重、專屬 Tokenizer 的訓練，以及使用 Accelerate 進行多 GPU 分佈式訓練的實務技巧。 此專案不僅提供了一個開源的程式碼模型，更為開發者提供了一套完整的、可複製的大型語言模型（LLM）預訓練工作流。
Large Language Models: A New Moore's Law?
Hugging Face Blog1680d agoOpinion本文探討大型語言模型（LLM）參數規模以驚人速度增長的現象，並將其與「摩爾定律」相提並論。然而，這種「越大越好」的趨勢伴隨著極高的算力成本、碳排放以及技術壟斷風險。Hugging Face 呼籲社群關注模型民主化，並透過開源合作（如 BigScience 專案）與高效能技術（如蒸餾、量化）來打破巨頭壟斷，尋求更永續的 AI 發展路徑。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Hugging Face Blog2031d agoTutorialHugging Face 發表技術部落格，介紹如何使用 `EncoderDecoderModel` 將現有的預訓練編碼器（如 BERT）與解碼器（如 GPT-2）結合。 這種「熱啟動（Warm-starting）」方法免去了從頭訓練 Seq2Seq 模型的巨大成本，特別適合摘要生成和機器翻譯等任務。 文章詳細說明了架構原理、交叉注意力機制的初始化，並提供了實用的 Transformers 程式碼範例。