本文為 Hugging Face 官方介紹 LoRA(低秩適應)技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣,將顯存需求降至消費級顯卡即可運行的水平,且產出的權重檔案僅有數 MB(相較於完整微調的數 GB),極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
Apple 與 Hugging Face 合作推出 Core ML 版的 Stable Diffusion,讓 Mac、iPad 和 iPhone 能直接利用 Apple 類神經引擎(ANE)進行硬體加速。開發者可以使用 Hugging Face 的 diffusers 庫與 Apple 的轉換工具,將 PyTorch 模型轉換為 .mlpackage 格式。此舉大幅降低了在 Apple 裝置上部署生成式 AI 模型的門檻,並顯著提升了圖像生成速度與能源效率。
本文介紹 Hugging Face 於 2022 年 11 月舉辦的「Diffusion Models Live Event」直播活動。該活動旨在向開發者與研究人員推廣擴散模型技術,並介紹當時新推出的 diffusers 函式庫。活動內容涵蓋從零開始訓練擴散模型、圖像生成原理及社群實作分享,是開源 AI 圖像生成發展史上的重要里程碑。
Hugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速,開發者可以在 TPU 和 GPU 上實現極致的推理速度,並輕鬆透過並行運算(pmap)在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Stability AI 於 2022 年 10 月推出了「Japanese Stable Diffusion」模型。該模型專為日語語境進行優化,解決了先前英文版 Stable Diffusion 難以精確理解日語輸入與日本文化細節的問題。用戶可以直接使用日語進行 Prompt 創作,生成更符合日本審美與文化背景的圖像,並已開源託管於 Hugging Face。
Hugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion,並推出圖生圖(Img2Img)與局部繪製(Inpainting)等全新 Pipeline。此外,團隊大幅優化了記憶體佔用,引入 Attention Slicing 技術,讓 4GB 顯存的 GPU 也能順利運行擴散模型,並新增了多種採樣調度器(Schedulers)。
Hugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API,輕鬆載入權重並進行文字生成圖像(Text-to-Image)的推論。文章詳細介紹了潛在擴散模型(Latent Diffusion)的運作原理,並提供多種記憶體優化技術,大幅降低了開源 AI 繪圖的硬體門檻。
Replicate 介紹了如何透過其 API 運行文字生成圖片模型。讀者將學習到如何使用 Python 客戶端,只需幾行程式碼即可呼叫雲端託管的 AI 模型,並輸入提示詞(Prompt)來生成影像。這為開發者提供了一個無需本地高階 GPU 即可快速整合圖像生成功能的途徑。