The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1093d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1105d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Instruction-tuning Stable Diffusion with InstructPix2Pix★ 70
Hugging Face Blog1106d agoTutorialHugging Face 介紹了如何利用 InstructPix2Pix 對 Stable Diffusion 進行指令微調（Instruction-tuning）。該方法結合了 GPT-3 生成的編輯指令與 Stable Diffusion 生成的成對圖像，訓練出能理解「將蘋果換成橘子」等指令的圖像編輯模型。文章提供了完整的訓練流程、Diffusers 程式碼範例以及優化技巧，幫助開發者輕鬆上手圖像編輯任務。
Creating a Coding Assistant with StarCoder
Hugging Face Blog1120d agoReleaseHugging Face 發表 StarChat Alpha，這是一個基於 15B 參數 StarCoder 基礎模型進行指令微調的對話式程式助手。透過特定的對話模板與微調資料集，StarCoder 從單純的程式碼補全工具升級為能進行多輪對話的 AI 助手。本篇介紹了其訓練細節、對話格式以及如何在 Hugging Face Spaces 上進行體驗。
Training a language model with 🤗 Transformers using TensorFlow and TPUs★ 70
Hugging Face Blog1132d agoTutorial本指南詳細說明如何利用 TensorFlow 和 Google TPU 來加速 Hugging Face Transformers 模型的訓練。內容涵蓋 TPU 的初始化設定、使用 tf.distribute.TPUStrategy 配置分散式訓練環境、利用 tf.data 建立高效的數據輸入管道，並在 TPU 範疇內載入與訓練模型，非常適合需要處理大規模 NLP 任務的開發者。
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models★ 70
Hugging Face Blog1133d agoBusinessDatabricks 與 Hugging Face 宣布深度合作，針對大型語言模型（LLM）的訓練與微調進行優化。透過將 Hugging Face Transformers 與 Databricks 平台（如 MLflow、TorchDistributor）整合，企業能在安全的湖倉一體架構中更高效地訓練開源模型。測試顯示，此優化方案可將訓練速度提升高達 40%，大幅降低運算成本。
Snorkel AI x Hugging Face: unlock foundation models for enterprises
Hugging Face Blog1153d agoBusinessSnorkel AI 與 Hugging Face 宣布合作，旨在解決企業應用基礎模型（Foundation Models）時面臨的領域數據不足挑戰。透過將 Snorkel Flow 的程式化標註技術與 Hugging Face 的開源模型庫結合，企業能快速標註私有數據並進行模型微調。此方案不僅能加速企業級 AI 應用的開發，還能透過模型蒸餾技術降低推理成本，實現高效且安全的落地部署。
StackLLaMA: A hands-on guide to train LLaMA with RLHF★ 80
Hugging Face Blog1154d agoTutorial本指南是 Hugging Face 介紹如何使用 TRL（Transformer Reinforcement Learning）與 PEFT（LoRA）技術，對 LLaMA 模型進行人類回饋強化學習（RLHF）的經典實戰教學。文章以 Stack Exchange 數據集為例，詳細拆解了監督式微調（SFT）、獎勵模型（RM）訓練，以及近端策略最佳化（PPO）三大核心步驟，展示了如何在有限的硬體資源下完成大語言模型的對齊（Alignment）訓練。
Train your ControlNet with diffusers★ 75
Hugging Face Blog1166d agoTutorialHugging Face 釋出官方指南，詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下，加入額外的控制條件（如邊緣、姿勢或深度）。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調，以及如何將訓練好的模型部署與推論。
How to use Alpaca-LoRA to fine-tune a model like ChatGPT★ 72
Replicate Blog1167d agoTutorial本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應（LoRA）技術，開發者可以在消費級硬體或 Replicate 雲端平台上，以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據，即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力，大幅降低了客製化大語言模型的門檻。
Fine-tune LLaMA to speak like Homer Simpson
Replicate Blog1173d agoTutorial本文介紹如何使用 Replicate 微調 LLaMA 模型，使其模仿《辛普森家庭》中荷馬·辛普森的說話風格。作者展示了如何篩選劇本數據、將其格式化，並在短短一小時內完成訓練。這項技術證明了即使在數據與預算有限的情況下，開發者也能輕鬆為開源模型注入獨特的個性。
Train and run Stanford Alpaca on your own machine
Replicate Blog1174d agoTutorialStanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型，具備類似 ChatGPT 的對話能力。 Replicate 發表指南，詳細說明如何使用開源工具 Cog 將 Alpaca 打包，並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調，大幅降低了開發者構建專屬開源 LLM 的門檻。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1181d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。
Parameter-Efficient Fine-Tuning using 🤗 PEFT★ 85
Hugging Face Blog1208d agoNew ToolHugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。
Introducing LoRA: A faster way to fine-tune Stable Diffusion★ 75
Replicate Blog1211d agoNew ToolReplicate 宣布支援 LoRA 技術，用於快速微調 Stable Diffusion 模型。相比於傳統的 DreamBooth，LoRA 不僅訓練速度大幅提升，產出的權重檔案也極小（僅數十 MB），讓創作者能以極低成本且更有效率地在雲端部署與切換不同的客製化風格。
Using LoRA for Efficient Stable Diffusion Fine-Tuning★ 85
Hugging Face Blog1223d agoTutorial本文為 Hugging Face 官方介紹 LoRA（低秩適應）技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣，將顯存需求降至消費級顯卡即可運行的水平，且產出的權重檔案僅有數 MB（相較於完整微調的數 GB），極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models★ 75
Hugging Face Blog1225d agoReleaseHugging Face 介紹了 Optimum 庫與 ONNX Runtime (ORT) 的整合，為開發者提供更高效的訓練解決方案。透過將標準的 Trainer 替換為 ORTTrainer，開發者可以輕鬆啟用 ORT 的圖優化與記憶體管理技術。此方案在不犧牲模型精度的前提下，能顯著提升訓練吞吐量（通常可達 20%-40%）並降低 GPU 顯存佔用。
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
Hugging Face Blog1266d agoCommentaryHugging Face 發布 Habana Gaudi2 與 Nvidia A100 80GB 的基準測試對比。結果顯示，Gaudi2 在 BERT 和 T5 等主流模型的訓練速度上比 A100 快上近兩倍。透過 optimum-habana 庫，開發者只需修改極少程式碼即可無縫轉移，為 Nvidia 晶片短缺與高成本提供了強力的替代方案。
Deep Learning with Proteins★ 75
Hugging Face Blog1278d agoTutorial本文為 Hugging Face 針對生物資訊與深度學習結合的入門指南。文章介紹了蛋白質語言模型（pLM）的基本概念，將氨基酸序列視為文本，並展示如何利用 Meta 的 ESM-2 模型進行微調。讀者可以學習如何使用 Hugging Face transformers 庫來預測蛋白質的定位與功能，為 AI 驅動的藥物研發與生物科技奠定基礎。
Train and deploy a DreamBooth model on Replicate
Replicate Blog1289d agoNew ToolReplicate 宣布推出 DreamBooth API，大幅簡化了個人化圖像生成模型的訓練流程。開發者只需提供少數幾張特定主體的照片，並透過單次 API 呼叫，就能在雲端自動完成微調。訓練完成的模型會直接託管於 Replicate，並立即提供 API 端點供後續的圖像生成預測使用。
Training Stable Diffusion with Dreambooth using Diffusers★ 75
Hugging Face Blog1303d agoTutorial本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫，開發者與創作者只需提供 3 到 5 張特定主體的照片，即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失（Prior Preservation Loss）的重要性，以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers★ 80
Hugging Face Blog1307d agoTutorial本教學詳細介紹如何使用 Hugging Face 的 `transformers` 庫微調 OpenAI 的 Whisper 語音辨識模型。內容涵蓋從載入 Common Voice 資料集、音訊預處理（重採樣至 16kHz 並轉換為 Log-Mel 聲譜圖）、設定 Tokenizer，到使用 `Seq2SeqTrainer` 進行訓練與評估（以 WER 為指標）的完整流程。這對於想在特定低資源語言或專業領域提升語音轉文字精準度的開發者與研究人員來說，是極具價值的實戰指南。
From PyTorch DDP to Accelerate to Trainer, mastery of distributed training with ease★ 75
Hugging Face Blog1320d agoTutorial本指南深入探討了在 PyTorch 中進行分散式訓練的三種層次。首先介紹底層的 PyTorch DDP（Distributed Data Parallel），展示其強大但繁瑣的設定；接著引入 Hugging Face Accelerate，它保留了 PyTorch 的靈活性，同時簡化了多 GPU、TPU 與混合精度的設定；最後介紹高階的 Trainer API，讓開發者只需幾行程式碼就能自動處理完整的分散式訓練流程。這篇文章非常適合想優化模型訓練效率的機器學習工程師。
Image Classification with AutoTrain
Hugging Face Blog1343d agoTutorialHugging Face 介紹了其無程式碼平台 AutoTrain 在圖像分類任務上的應用。使用者只需上傳整理好的圖片資料集，系統便會自動進行模型選擇、超參數調優與訓練。訓練完成後，模型會直接託管於 Hugging Face Hub，並自動生成 Inference API，極大地降低了電腦視覺應用的開發門檻。
Train and Fine-Tune Sentence Transformers Models★ 75
Hugging Face Blog1392d agoTutorial本指南詳細介紹如何訓練與微調 Sentence Transformers 模型。內容涵蓋雙編碼器（Bi-Encoder）與交叉編碼器（Cross-Encoder）的差異、如何準備訓練數據（如成對文本或三元組），以及如何選擇適合的損失函數（如 MultipleNegativesRankingLoss）來提升語意搜尋與向量檢索的精準度，是優化 RAG 系統必讀的經典教學。
Getting Started with Sentiment Analysis on Twitter
Hugging Face Blog1426d agoTutorial本指南為 Hugging Face 官方實戰教學，指導開發者如何利用 Transformers 庫對 Twitter (X) 貼文進行情緒分析。內容涵蓋使用 Pipeline API 進行快速推論、選用針對社群媒體優化的 twitter-roberta-base 模型，以及如何使用自訂資料集進行模型微調，是 NLP 初學者與社群輿情分析師的必讀經典。
Liftoff! How to get started with your first ML project 🚀
Hugging Face Blog1434d agoTutorial本文為 Hugging Face 針對機器學習初學者撰寫的入門指南。文章詳細介紹了從定義問題、準備數據集、選擇預訓練模型，到使用 Trainer API 進行微調，最後透過 Hugging Face Spaces 與 Gradio 部署展示的完整流程。這是一份幫助新手快速跨越 ML 門檻的實用路線圖，讓開發者能以最快速度實現從數據到 Demo 的完整閉環。
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel★ 75
Hugging Face Blog1492d agoReleaseHugging Face 宣布在其 Accelerate 庫中整合 PyTorch FSDP（完全分片數據並行）技術。FSDP 透過將模型參數、梯度和優化器狀態分片到多個 GPU 上，解決了單一 GPU 記憶體不足（OOM）的問題。這項技術讓開發者與研究人員能夠以更低的硬體門檻，高效訓練和微調擁有數十億甚至數百億參數的超大型語言模型。
Fine-Tune a Semantic Segmentation Model with a Custom Dataset
Hugging Face Blog1538d agoTutorial本指南介紹如何利用 Hugging Face 的 Transformers 庫微調 SegFormer 進行語義分割。內容涵蓋自定義資料集的準備、使用 SegformerImageProcessor 進行圖像預處理，以及設定 Trainer API 進行訓練。最後，教學展示了如何使用 mIoU 評估模型效能並進行推理。
BERT 101 - State Of The Art NLP Model Explained
Hugging Face Blog1553d agoTutorial本指南深入淺出地解析了 Google 提出的革命性 NLP 模型 BERT。文章詳細介紹了其基於 Transformer Encoder 的雙向架構，並剖析了「遮罩語言模型 (MLM)」與「下一句預測 (NSP)」兩大核心預訓練機制。最後，展示了如何透過 Hugging Face 輕鬆將 BERT 應用於各種下游自然語言處理任務。