Hugging Face 宣布其 Diffusers 函式庫已正式整合 Black Forest Labs 推出的全新圖像生成模型 FLUX-2。FLUX-2 延續了前代的強大效能,在畫面細節、文字渲染及指令遵循度上皆有顯著提升。開發者現在可以透過簡單的 Python 程式碼輕鬆載入並運行 FLUX-2,並享受 Diffusers 提供的記憶體優化與加速支援。
Hugging Face 的 Diffusers 程式庫已正式支援 Stability AI 最新推出的 Stable Diffusion 3.5 Large 模型。此模型擁有 80 億參數,在提示詞遵循度、圖像品質及多樣性上皆有顯著提升。開發者現在可以透過簡單的程式碼載入模型,並利用 CPU Offloading、bfloat16 及量化技術,在消費級 GPU 上順暢運行。
Hugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型,並引入多項關鍵的記憶體優化技術(如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器),讓開發者能在消費級 GPU 上流暢運行。此外,官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本,大幅降低了客製化圖像生成模型的門檻。
Hugging Face 發表了名為 aMUSEd 的開源文字生成圖片模型,基於 Google 的 MUSE 架構。與主流的擴散模型(Diffusion Models)不同,aMUSEd 採用遮罩圖像建模(MIM)技術,僅需 12 個步驟即可生成圖像。其參數規模僅約 8 億,非常適合在消費級硬體上進行快速推理與微調,並支援圖生圖與局部重繪。
Hugging Face 與 LCM 團隊合作推出 LCM-LoRA,這是一種通用的低秩自適應(LoRA)蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步,同時保持極佳的影像品質。最重要的是,它能直接套用於現有的任何 SDXL 微調模型與 LoRA,無需重新訓練,為即時圖像生成帶來突破。
本文介紹了針對 Stable Diffusion XL (SDXL) 的多項實用推論優化技術。透過 Hugging Face 的 Diffusers 函式庫,開發者可以輕鬆啟用 PyTorch 2.0 的 `torch.compile()`、記憶體高效注意力機制(SDPA)、CPU 卸載(CPU Offloading)以及 VAE 分片與平鋪技術。這些方法能在不犧牲影像品質的前提下,顯著縮短生成時間並降低 GPU 顯示記憶體(VRAM)的需求,讓消費級顯示卡也能流暢運行。
Hugging Face 宣布與騰訊 ARC 實驗室合作,將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet,T2I-Adapter 僅有約 79M 參數,能在不犧牲生成品質的前提下,大幅降低顯示記憶體(VRAM)佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖(Sketch)、深度圖(Depth)等多種控制模式,並已整合至 diffusers 函式庫中。
Hugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件(如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等)的架構。透過全新的 StableDiffusionControlNetPipeline,開發者只需幾行程式碼即可實現高精度的圖像生成與編輯,大幅提升了 AI 繪圖的可控性。
本文為 Hugging Face 官方介紹 LoRA(低秩適應)技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣,將顯存需求降至消費級顯卡即可運行的水平,且產出的權重檔案僅有數 MB(相較於完整微調的數 GB),極大地降低了個性化圖像生成模型的訓練門檻與分享成本。