(LoRA) Fine-Tuning FLUX.1-dev on Consumer Hardware★ 80
Hugging Face Blog348d agoTutorial本文介紹如何在消費級硬體（如 RTX 3090/4090）上微調 Black Forest Labs 的 FLUX.1-dev 12B 圖像生成模型。透過 Hugging Face 的 PEFT 與 Diffusers 庫，結合 4-bit QLoRA 量化、梯度檢查點與 8-bit 優化器，開發者能將顯存需求降至 24GB 以下，讓個人創作者也能輕鬆客製化頂級開源圖像模型。
Fine-Tuning Gemma Models in Hugging Face★ 80
Hugging Face Blog830d agoTutorial本指南介紹如何在 Hugging Face 生態系中微調 Google 的 Gemma 開源模型（2B 與 7B）。文章詳細說明了如何利用 PEFT（參數高效微調）技術，特別是 QLoRA（4-bit 量化微調），在消費級 GPU 上進行訓練。透過結合 transformers、peft 與 trl（SFTTrainer）等套件，開發者可以輕鬆載入模型、設定 LoRA 參數、格式化數據集，並將微調後的權重上傳至 Hugging Face Hub，是實作 Gemma 微調的必讀教學。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog874d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
2023, year of open LLMs★ 75
Hugging Face Blog897d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog994d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1105d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。