Fast LoRA inference for Flux with Diffusers and PEFT★ 80
Hugging Face Blog314d agoTutorial本文介紹如何利用 Hugging Face 的 Diffusers 與 PEFT 庫，大幅加速 Flux.1 圖像生成模型的 LoRA 推論。透過融合 LoRA 權重（Fusing）、使用 torch.compile 進行編譯優化，以及利用 PEFT 的動態適配器管理，開發者可以在不損失畫質的前提下，顯著降低推論延遲並實現多 LoRA 的快速切換，非常適合生產環境部署。
(LoRA) Fine-Tuning FLUX.1-dev on Consumer Hardware★ 80
Hugging Face Blog348d agoTutorial本文介紹如何在消費級硬體（如 RTX 3090/4090）上微調 Black Forest Labs 的 FLUX.1-dev 12B 圖像生成模型。透過 Hugging Face 的 PEFT 與 Diffusers 庫，結合 4-bit QLoRA 量化、梯度檢查點與 8-bit 優化器，開發者能將顯存需求降至 24GB 以下，讓個人創作者也能輕鬆客製化頂級開源圖像模型。
Run 30,000+ LoRAs on Hugging Face with Replicate★ 75
Replicate Blog383d agoNew ToolReplicate 宣布與 Hugging Face 展開深度合作，將其高效的無伺服器推理服務引進 Hugging Face 平台。這項整合讓開發者能直接在 Hugging Face 上運行超過 30,000 個 LoRA 微調模型，免去繁瑣的 GPU 配置。結合了 Hugging Face 的豐富生態與 Replicate 的彈性算力，大幅簡化了 AI 模型的部署與測試流程。
FLUX fine-tunes are now fast★ 75
Replicate Blog553d agoReleaseAI 雲端託管平台 Replicate 宣布大幅提升 FLUX.1 圖像生成模型的微調（Fine-tuning）速度。透過底層優化，用戶現在能以極快的速度訓練出專屬的 FLUX LoRA 模型。最重要的是，Replicate 將這些優化技術與訓練程式碼完全開源，讓開發者不僅能在其平台上快速部署，也能在自己的硬體上實現高效訓練。
“Llama 3.2 in Keras”★ 75
Hugging Face Blog589d agoReleaseHugging Face 與 Keras 團隊宣布 Llama 3.2 模型正式登陸 Keras 生態系。開發者現在可以透過 KerasNLP 輕鬆載入 Llama 3.2 的 1B 與 3B 輕量級模型。得益於 Keras 3 的多後端架構，使用者能自由切換 JAX、PyTorch 或 TensorFlow，並利用 LoRA 等技術進行高效微調與跨平台部署。
Replicate Intelligence #11★ 75
Replicate Blog655d agoReleaseReplicate 發布第 11 期技術週報，重點介紹開源影像生成模型 FLUX.1 的微調方法，讓開發者能以低成本訓練專屬風格。同時探討了「生成式電子遊戲」的最新進展，展示 AI 如何即時生成遊戲畫面與互動內容。最後，文章展望了生成式 AI 結合 3D 技術，為未來元宇宙與虛擬空間帶來的全新創作範式。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
Fine-tuning Florence-2 - Microsoft's Cutting-edge Vision Language Models★ 80
Hugging Face Blog708d agoTutorial微軟推出的 Florence-2 是一款強大且輕量的視覺語言模型（VLM），僅有 232M 與 770M 兩種參數版本，卻能高效處理 OCR、目標檢測、圖像描述等多種任務。Hugging Face 官方部落格發布了這篇實用指南，詳細教學如何使用 Hugging Face 的 transformers 與 peft 函式庫，在自訂資料集上對 Florence-2 進行微調（Fine-tuning），並利用 LoRA 技術降低顯示記憶體需求，非常適合想在邊緣裝置或有限資源下部署視覺 AI 的開發者。
Diffusers welcomes Stable Diffusion 3★ 80
Hugging Face Blog720d agoReleaseHugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型，並引入多項關鍵的記憶體優化技術（如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器），讓開發者能在消費級 GPU 上流暢運行。此外，官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本，大幅降低了客製化圖像生成模型的門檻。
Fine-Tuning Gemma Models in Hugging Face★ 80
Hugging Face Blog830d agoTutorial本指南介紹如何在 Hugging Face 生態系中微調 Google 的 Gemma 開源模型（2B 與 7B）。文章詳細說明了如何利用 PEFT（參數高效微調）技術，特別是 QLoRA（4-bit 量化微調），在消費級 GPU 上進行訓練。透過結合 transformers、peft 與 trl（SFTTrainer）等套件，開發者可以輕鬆載入模型、設定 LoRA 參數、格式化數據集，並將微調後的權重上傳至 Hugging Face Hub，是實作 Gemma 微調的必讀教學。
🤗 PEFT welcomes new merging methods★ 80
Hugging Face Blog834d agoReleaseHugging Face 的 PEFT 庫正式支援多種先進的 LoRA 合併技術，包括 TIES-Merging、DARE 和 Task Arithmetic。這些方法解決了傳統線性合併時常見的參數干擾與性能衰退問題。開發者現在可以透過簡單的 API，將針對不同任務微調的適配器融合成單一模型，大幅提升多任務模型的部署效率。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog874d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
Goodbye cold boot - how we made LoRA Inference 300% faster★ 85
Hugging Face Blog910d agoReleaseHugging Face 分享了優化 LoRA 模型推論的技術突破。傳統上，為不同用戶切換微調模型會面臨嚴重的「冷啟動」延遲；新方案透過在 Text Generation Inference (TGI) 中實現動態載入 LoRA 轉接器（Adapters），讓共享同一個基礎模型的不同微調版本能即時切換，使整體推論速度提升達 300%，大幅降低多租戶架構的部署成本與延遲。
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora★ 75
Hugging Face Blog938d agoTutorialHugging Face 釋出技術指南，比較 RoBERTa、Llama 2 與 Mistral 7B 在「災難推特分類」任務上的表現。 透過 LoRA（低秩適應）技術，詳細分析了傳統編碼器模型與現代生成式大模型在分類精準度、訓練時間與硬體資源（VRAM）上的折衷。 結果顯示，雖然 7B 模型具備強大理解力，但較小的 RoBERTa 在特定分類任務上依然展現出極高的成本效益與競爭力。
Fine-tuned models now boot in less than one second★ 75
Replicate Blog1000d agoReleaseReplicate 宣布對微調模型的「冷啟動（Cold Boot）」進行重大改進。過去部署微調模型需要數分鐘來啟動新容器，現在透過共享基礎模型並動態載入輕量化的 LoRA 權重，冷啟動時間已縮短至一秒以內。這大幅降低了開發者在使用客製化模型時的延遲與成本。
StackLLaMA: A hands-on guide to train LLaMA with RLHF★ 80
Hugging Face Blog1154d agoTutorial本指南是 Hugging Face 介紹如何使用 TRL（Transformer Reinforcement Learning）與 PEFT（LoRA）技術，對 LLaMA 模型進行人類回饋強化學習（RLHF）的經典實戰教學。文章以 Stack Exchange 數據集為例，詳細拆解了監督式微調（SFT）、獎勵模型（RM）訓練，以及近端策略最佳化（PPO）三大核心步驟，展示了如何在有限的硬體資源下完成大語言模型的對齊（Alignment）訓練。
How to use Alpaca-LoRA to fine-tune a model like ChatGPT★ 72
Replicate Blog1167d agoTutorial本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應（LoRA）技術，開發者可以在消費級硬體或 Replicate 雲端平台上，以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據，即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力，大幅降低了客製化大語言模型的門檻。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1181d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。
Parameter-Efficient Fine-Tuning using 🤗 PEFT★ 85
Hugging Face Blog1208d agoNew ToolHugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。
Using LoRA for Efficient Stable Diffusion Fine-Tuning★ 85
Hugging Face Blog1223d agoTutorial本文為 Hugging Face 官方介紹 LoRA（低秩適應）技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣，將顯存需求降至消費級顯卡即可運行的水平，且產出的權重檔案僅有數 MB（相較於完整微調的數 GB），極大地降低了個性化圖像生成模型的訓練門檻與分享成本。