Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1182d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。
Parameter-Efficient Fine-Tuning using 🤗 PEFT★ 85
Hugging Face Blog1209d agoNew ToolHugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。
Using LoRA for Efficient Stable Diffusion Fine-Tuning★ 85
Hugging Face Blog1224d agoTutorial本文為 Hugging Face 官方介紹 LoRA（低秩適應）技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣，將顯存需求降至消費級顯卡即可運行的水平，且產出的權重檔案僅有數 MB（相較於完整微調的數 GB），極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models★ 75
Hugging Face Blog1226d agoReleaseHugging Face 介紹了 Optimum 庫與 ONNX Runtime (ORT) 的整合，為開發者提供更高效的訓練解決方案。透過將標準的 Trainer 替換為 ORTTrainer，開發者可以輕鬆啟用 ORT 的圖優化與記憶體管理技術。此方案在不犧牲模型精度的前提下，能顯著提升訓練吞吐量（通常可達 20%-40%）並降低 GPU 顯存佔用。
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
Hugging Face Blog1267d agoCommentaryHugging Face 發布 Habana Gaudi2 與 Nvidia A100 80GB 的基準測試對比。結果顯示，Gaudi2 在 BERT 和 T5 等主流模型的訓練速度上比 A100 快上近兩倍。透過 optimum-habana 庫，開發者只需修改極少程式碼即可無縫轉移，為 Nvidia 晶片短缺與高成本提供了強力的替代方案。
Deep Learning with Proteins★ 75
Hugging Face Blog1279d agoTutorial本文為 Hugging Face 針對生物資訊與深度學習結合的入門指南。文章介紹了蛋白質語言模型（pLM）的基本概念，將氨基酸序列視為文本，並展示如何利用 Meta 的 ESM-2 模型進行微調。讀者可以學習如何使用 Hugging Face transformers 庫來預測蛋白質的定位與功能，為 AI 驅動的藥物研發與生物科技奠定基礎。
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers★ 80
Hugging Face Blog1308d agoTutorial本教學詳細介紹如何使用 Hugging Face 的 `transformers` 庫微調 OpenAI 的 Whisper 語音辨識模型。內容涵蓋從載入 Common Voice 資料集、音訊預處理（重採樣至 16kHz 並轉換為 Log-Mel 聲譜圖）、設定 Tokenizer，到使用 `Seq2SeqTrainer` 進行訓練與評估（以 WER 為指標）的完整流程。這對於想在特定低資源語言或專業領域提升語音轉文字精準度的開發者與研究人員來說，是極具價值的實戰指南。
From PyTorch DDP to Accelerate to Trainer, mastery of distributed training with ease★ 75
Hugging Face Blog1321d agoTutorial本指南深入探討了在 PyTorch 中進行分散式訓練的三種層次。首先介紹底層的 PyTorch DDP（Distributed Data Parallel），展示其強大但繁瑣的設定；接著引入 Hugging Face Accelerate，它保留了 PyTorch 的靈活性，同時簡化了多 GPU、TPU 與混合精度的設定；最後介紹高階的 Trainer API，讓開發者只需幾行程式碼就能自動處理完整的分散式訓練流程。這篇文章非常適合想優化模型訓練效率的機器學習工程師。
Train and Fine-Tune Sentence Transformers Models★ 75
Hugging Face Blog1393d agoTutorial本指南詳細介紹如何訓練與微調 Sentence Transformers 模型。內容涵蓋雙編碼器（Bi-Encoder）與交叉編碼器（Cross-Encoder）的差異、如何準備訓練數據（如成對文本或三元組），以及如何選擇適合的損失函數（如 MultipleNegativesRankingLoss）來提升語意搜尋與向量檢索的精準度，是優化 RAG 系統必讀的經典教學。
Getting Started with Sentiment Analysis on Twitter
Hugging Face Blog1427d agoTutorial本指南為 Hugging Face 官方實戰教學，指導開發者如何利用 Transformers 庫對 Twitter (X) 貼文進行情緒分析。內容涵蓋使用 Pipeline API 進行快速推論、選用針對社群媒體優化的 twitter-roberta-base 模型，以及如何使用自訂資料集進行模型微調，是 NLP 初學者與社群輿情分析師的必讀經典。
Liftoff! How to get started with your first ML project 🚀
Hugging Face Blog1435d agoTutorial本文為 Hugging Face 針對機器學習初學者撰寫的入門指南。文章詳細介紹了從定義問題、準備數據集、選擇預訓練模型，到使用 Trainer API 進行微調，最後透過 Hugging Face Spaces 與 Gradio 部署展示的完整流程。這是一份幫助新手快速跨越 ML 門檻的實用路線圖，讓開發者能以最快速度實現從數據到 Demo 的完整閉環。
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel★ 75
Hugging Face Blog1493d agoReleaseHugging Face 宣布在其 Accelerate 庫中整合 PyTorch FSDP（完全分片數據並行）技術。FSDP 透過將模型參數、梯度和優化器狀態分片到多個 GPU 上，解決了單一 GPU 記憶體不足（OOM）的問題。這項技術讓開發者與研究人員能夠以更低的硬體門檻，高效訓練和微調擁有數十億甚至數百億參數的超大型語言模型。
Fine-Tune a Semantic Segmentation Model with a Custom Dataset
Hugging Face Blog1539d agoTutorial本指南介紹如何利用 Hugging Face 的 Transformers 庫微調 SegFormer 進行語義分割。內容涵蓋自定義資料集的準備、使用 SegformerImageProcessor 進行圖像預處理，以及設定 Trainer API 進行訓練。最後，教學展示了如何使用 mIoU 評估模型效能並進行推理。
BERT 101 - State Of The Art NLP Model Explained
Hugging Face Blog1554d agoTutorial本指南深入淺出地解析了 Google 提出的革命性 NLP 模型 BERT。文章詳細介紹了其基於 Transformer Encoder 的雙向架構，並剖析了「遮罩語言模型 (MLM)」與「下一句預測 (NSP)」兩大核心預訓練機制。最後，展示了如何透過 Hugging Face 輕鬆將 BERT 應用於各種下游自然語言處理任務。
Fine-Tune ViT for Image Classification with 🤗 Transformers★ 70
Hugging Face Blog1573d agoTutorial本文為 Hugging Face 官方教學，詳細介紹如何使用 `transformers` 與 `datasets` 函式庫微調 Vision Transformer (ViT) 模型。內容涵蓋從載入 Beans 資料集、使用影像處理器進行資料前處理、設定 `Trainer` API 進行訓練，到最後將微調後的模型上傳至 Hugging Face Hub 的完整流程，是電腦視覺開發者的必讀入門指南。
Getting Started with Sentiment Analysis using Python
Hugging Face Blog1582d agoTutorial本文介紹如何利用 Hugging Face 的 `transformers` 庫在 Python 中進行情緒分析。內容涵蓋使用 `pipeline` 進行快速推理、從 Hugging Face Hub 選擇特定領域的預訓練模型（如 RoBERTa 或 FinBERT），以及如何使用自定義數據集微調模型，是 NLP 初學者的必讀指南。
Active Learning with AutoNLP and Prodigy
Hugging Face Blog1623d agoTutorialHugging Face 與 Explosion 合作，展示如何將 Prodigy 資料標記工具與 AutoNLP（現為 AutoTrain）整合。透過主動學習（Active Learning）機制，系統能自動篩選出模型最不確定的樣本供人工標記，大幅減少標記成本。此工作流讓開發者無需編寫複雜代碼，即可快速迭代並優化 NLP 模型。
Accelerating PyTorch distributed fine-tuning with Intel technologies
Hugging Face Blog1657d agoTutorialHugging Face 與 Intel 合作，展示如何利用 Intel Extension for PyTorch (IPEX) 和 oneCCL 提升 CPU 上的模型微調效率。透過自動混合精度（BFloat16）與優化的分散式通訊，開發者可以在 Intel Xeon 處理器上實現高效的多節點分散式訓練。這為缺乏 GPU 資源或希望活化現有 CPU 叢集的企業提供了極具成本效益的替代方案。
Fine-Tune XLSR-Wav2Vec2 for low-resource ASR with 🤗 Transformers
Hugging Face Blog1661d agoTutorial本教學詳細介紹如何利用 Hugging Face Transformers 庫，針對缺乏訓練數據的低資源語言微調 Meta 的 XLSR-Wav2Vec2 語音模型。內容涵蓋從 Common Voice 數據集下載、音訊預處理、建立專屬 Tokenizer，到使用 CTC 損失函數進行模型訓練的完整工作流。對於想在特定方言或少數語言上實現高精度語音辨識（ASR）的開發者與研究人員，這是極具價值的實戰指南。
Fine tuning CLIP with Remote Sensing (Satellite) images and captions
Hugging Face Blog1694d agoTutorial本文探討如何針對遙測（衛星）影像微調 OpenAI 的 CLIP 多模態模型。由於通用 CLIP 在處理俯視、高空等特殊視角的衛星影像時表現不佳，研究團隊利用 RSICD 數據集與 JAX/Flax 框架進行微調。微調後的模型能顯著提升衛星影像的文本檢索與分類準確度，為地理資訊與遙測領域提供強大的開源工具。
Distributed Training: Train BART/T5 for Summarization using 🤗 Transformers and Amazon SageMaker
Hugging Face Blog1882d agoTutorial這是一篇 Hugging Face 官方教學，指導開發者如何使用 Amazon SageMaker 的分散式訓練功能來微調大型 Seq2Seq 模型（如 BART 和 T5）。文章詳細說明了如何將 Hugging Face 的 Seq2SeqTrainer 與 SageMaker Data Parallelism 庫結合，以解決單一 GPU 記憶體不足或訓練過慢的問題。讀者將學會如何準備訓練腳本、配置 SageMaker Estimator，並在 AWS 的多 GPU 實例上啟動高效的分散式訓練任務。
Fine-Tune Wav2Vec2 for English ASR in Hugging Face with 🤗 Transformers★ 70
Hugging Face Blog1909d agoTutorial本指南詳細介紹如何利用 🤗 Transformers 與 Datasets 庫微調 Meta 的 Wav2Vec2 模型以進行英文語音辨識（ASR）。教學涵蓋了語音數據預處理（重採樣至 16kHz）、使用 CTC 損失函數、配置 Wav2Vec2Processor，以及使用 Trainer API 進行模型訓練與字錯率（WER）評估，是語音 AI 領域的經典必讀教學。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Hugging Face Blog2032d agoTutorialHugging Face 發表技術部落格，介紹如何使用 `EncoderDecoderModel` 將現有的預訓練編碼器（如 BERT）與解碼器（如 GPT-2）結合。 這種「熱啟動（Warm-starting）」方法免去了從頭訓練 Seq2Seq 模型的巨大成本，特別適合摘要生成和機器翻譯等任務。 文章詳細說明了架構原理、交叉注意力機制的初始化，並提供了實用的 Transformers 程式碼範例。
Hyperparameter Search with Transformers and Ray Tune
Hugging Face Blog2039d agoTutorial本文介紹 Hugging Face Transformers 與 Ray Tune 的整合。透過 Trainer API 內建的 hyperparameter_search 功能，開發者只需幾行程式碼即可啟用分散式超參數搜尋。文章詳細說明了如何設定搜尋空間、使用 ASHA 等高效排程演算法，並在多 GPU 環境下加速模型微調與優化過程。