Diffusers welcomes Stable Diffusion 3.5 Large★ 85
Hugging Face Blog588d agoReleaseHugging Face 的 Diffusers 程式庫已正式支援 Stability AI 最新推出的 Stable Diffusion 3.5 Large 模型。此模型擁有 80 億參數，在提示詞遵循度、圖像品質及多樣性上皆有顯著提升。開發者現在可以透過簡單的程式碼載入模型，並利用 CPU Offloading、bfloat16 及量化技術，在消費級 GPU 上順暢運行。
Diffusers welcomes Stable Diffusion 3★ 80
Hugging Face Blog720d agoReleaseHugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型，並引入多項關鍵的記憶體優化技術（如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器），讓開發者能在消費級 GPU 上流暢運行。此外，官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本，大幅降低了客製化圖像生成模型的門檻。
SegMoE: Segmind Mixture of Diffusion Experts★ 75
Hugging Face Blog850d agoReleaseSegmind 發表 SegMoE 框架，借鑑 LLM 的混合專家（MoE）架構並將其應用於 Stable Diffusion 等擴散模型。該技術允許開發者將多個專門的 SDXL 專家模型合併為一個，並透過路由機制動態分配生成任務。此方法無需從頭訓練，即可結合不同風格模型的優勢，為影像生成帶來更高的靈活性與效率。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog869d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog951d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Painting with words: a history of text-to-image AI
Replicate Blog1015d agoCommentary本文回顧了文字生成圖像（Text-to-Image）技術的演進歷程。從早期的 GAN 限制，到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮，再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出，開源社群與微調技術正以前所未有的速度重塑視覺創作。
Open-sourcing Knowledge Distillation Code and Weights of SD-Small and SD-Tiny★ 70
Hugging Face Blog1036d agoReleaseHugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small（約 5.11 億參數）與 SD-Tiny（約 3.23 億參數）的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數，這些模型在保留高圖像質量的同時，實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻，也讓開發者能自行蒸餾客製化的 SD 模型。
Happy 1st anniversary 🤗 Diffusers!
Hugging Face Blog1048d agoReleaseHugging Face 慶祝旗下核心開源庫 Diffusers 推出一週年。在過去一年中，Diffusers 憑藉直覺的 API 設計，成功降低了 Stable Diffusion 等擴散模型的技術門檻。該庫不僅支援了 ControlNet、LoRA 等多種前沿技術，還透過記憶體優化與硬體加速，讓生成式 AI 走入消費級硬體，成為開源 AI 生態系中不可或缺的基石。
Building an AI WebTV
Hugging Face Blog1051d agoTutorialHugging Face 分享了建立「AI WebTV」的實戰指南。該專案整合了多種開源 AI 技術：利用 LLM 自動生成劇本、透過 Stable Diffusion 產生視覺畫面，並結合 TTS 語音合成技術。最後，利用 FFmpeg 將這些素材即時融合成影片串流，部署於 Hugging Face Spaces 並可同步直播至 Twitch 等平台，展示了多模態 AI 工作流的強大整合能力。
Fine-tuning Stable Diffusion models on Intel CPUs
Hugging Face Blog1054d agoTutorialHugging Face 介紹了如何在 Intel CPU 上微調 Stable Diffusion。透過 Intel Extension for PyTorch (IPEX) 與 Optimum Intel 庫，開發者可利用第四代 Xeon 處理器的 AMX 技術進行 BF16 混合精度訓練。這為缺乏 GPU 資源或想利用現有 CPU 伺服器的團隊，提供了一個高性價比的微調方案。
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
Hugging Face Blog1072d agoCommentary本期 Hugging Face 倫理與社會電子報聚焦於文字生成圖像（Text-to-Image）模型的偏見。文章指出，這些模型在生成職業、社會角色等圖像時，常顯露出嚴重的性別與種族刻板印象。這源於訓練數據中不均衡的代表性，Hugging Face 呼籲社群透過開發評估工具與推動數據透明化來共同應對此挑戰。
Faster Stable Diffusion with Core ML on iPhone, iPad, and Mac★ 75
Hugging Face Blog1083d agoTutorial本文介紹如何利用 Core ML 技術在 Apple Silicon 晶片上加速 Stable Diffusion。透過模型量化（如 6-bit/8-bit）與 Apple 神經網路引擎（ANE）的優化，開發者能顯著降低記憶體佔用，在 iPhone、iPad 和 Mac 上實現本地端超快速的圖像生成，有效解決行動裝置記憶體不足（OOM）的痛點。
Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum
Hugging Face Blog1104d agoTutorial本文介紹 Hugging Face 與 Intel 合作的優化方案。透過 Optimum Intel 與神經網路壓縮框架（NNCF），開發者可以輕鬆對 Stable Diffusion 進行訓練後量化（PTQ）。這項技術能將模型壓縮至 INT8 精度，在顯著降低記憶體佔用的同時，大幅加速 Intel CPU 上的圖像生成速度，且幾乎不損失圖像品質。
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Blog1162d agoTutorial本文介紹在 Intel CPU 上加速 Stable Diffusion 推論的實用方法。透過 Hugging Face 的 Optimum Intel 整合套件，開發者可輕鬆利用 OpenVINO 和 Intel Extension for PyTorch (IPEX) 進行優化。在第四代 Intel Xeon 處理器上，結合 AMX 技術與 BF16/INT8 量化，能實現數倍的推論速度提升，為無 GPU 環境提供高效的替代方案。
Train your ControlNet with diffusers★ 75
Hugging Face Blog1166d agoTutorialHugging Face 釋出官方指南，詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下，加入額外的控制條件（如邊緣、姿勢或深度）。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調，以及如何將訓練好的模型部署與推論。
ControlNet in 🧨 Diffusers★ 85
Hugging Face Blog1187d agoReleaseHugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件（如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等）的架構。透過全新的 StableDiffusionControlNetPipeline，開發者只需幾行程式碼即可實現高精度的圖像生成與編輯，大幅提升了 AI 繪圖的可控性。
Using LoRA for Efficient Stable Diffusion Fine-Tuning★ 85
Hugging Face Blog1223d agoTutorial本文為 Hugging Face 官方介紹 LoRA（低秩適應）技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣，將顯存需求降至消費級顯卡即可運行的水平，且產出的權重檔案僅有數 MB（相較於完整微調的數 GB），極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
From GPT2 to Stable Diffusion: Hugging Face arrives to the Elixir community★ 70
Hugging Face Blog1271d agoReleaseElixir 官方與 Hugging Face 合作推出 Bumblebee 專案，將主流的深度學習模型引入 Elixir 生態系。 基於 Nx 與 Axon 框架，開發者無需依賴 Python，即可在 Elixir 中直接載入並運行 GPT-2、Stable Diffusion 等模型。 搭配 Livebook 的智慧儲存格（Smart Cells），開發者只需點擊幾下，就能在數秒內部署並測試各種 AI 應用。
Using Stable Diffusion with Core ML on Apple Silicon★ 75
Hugging Face Blog1279d agoReleaseApple 與 Hugging Face 合作推出 Core ML 版的 Stable Diffusion，讓 Mac、iPad 和 iPhone 能直接利用 Apple 類神經引擎（ANE）進行硬體加速。開發者可以使用 Hugging Face 的 diffusers 庫與 Apple 的轉換工具，將 PyTorch 模型轉換為 .mlpackage 格式。此舉大幅降低了在 Apple 裝置上部署生成式 AI 模型的門檻，並顯著提升了圖像生成速度與能源效率。
Diffusion Models Live Event
Hugging Face Blog1285d agoTutorial本文介紹 Hugging Face 於 2022 年 11 月舉辦的「Diffusion Models Live Event」直播活動。該活動旨在向開發者與研究人員推廣擴散模型技術，並介紹當時新推出的 diffusers 函式庫。活動內容涵蓋從零開始訓練擴散模型、圖像生成原理及社群實作分享，是開源 AI 圖像生成發展史上的重要里程碑。
🧨 Stable Diffusion in JAX / Flax !
Hugging Face Blog1328d agoReleaseHugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速，開發者可以在 TPU 和 GPU 上實現極致的推理速度，並輕鬆透過並行運算（pmap）在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
What's new in Diffusers? 🎨★ 70
Hugging Face Blog1359d agoReleaseHugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion，並推出圖生圖（Img2Img）與局部繪製（Inpainting）等全新 Pipeline。此外，團隊大幅優化了記憶體佔用，引入 Attention Slicing 技術，讓 4GB 顯存的 GPU 也能順利運行擴散模型，並新增了多種採樣調度器（Schedulers）。
Run Stable Diffusion on your M1 Mac’s GPU
Replicate Blog1371d agoTutorial本教學指導開發者如何在 M1 Mac 上利用 PyTorch 的 MPS (Metal Performance Shaders) 後端，本地端調用 GPU 運行 Stable Diffusion。內容涵蓋 Python 環境設定、安裝支援 MPS 的 PyTorch 與 Hugging Face diffusers 庫，並提供完整的程式碼範例，讓開發者能完全免費、私密地在 local 端進行 AI 圖像生成與二次開發。
Stable Diffusion with 🧨 Diffusers★ 85
Hugging Face Blog1380d agoReleaseHugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API，輕鬆載入權重並進行文字生成圖像（Text-to-Image）的推論。文章詳細介紹了潛在擴散模型（Latent Diffusion）的運作原理，並提供多種記憶體優化技術，大幅降低了開源 AI 繪圖的硬體門檻。