Apple 與 Hugging Face 合作推出 Core ML 版的 Stable Diffusion,讓 Mac、iPad 和 iPhone 能直接利用 Apple 類神經引擎(ANE)進行硬體加速。開發者可以使用 Hugging Face 的 diffusers 庫與 Apple 的轉換工具,將 PyTorch 模型轉換為 .mlpackage 格式。此舉大幅降低了在 Apple 裝置上部署生成式 AI 模型的門檻,並顯著提升了圖像生成速度與能源效率。
本文介紹 Hugging Face 於 2022 年 11 月舉辦的「Diffusion Models Live Event」直播活動。該活動旨在向開發者與研究人員推廣擴散模型技術,並介紹當時新推出的 diffusers 函式庫。活動內容涵蓋從零開始訓練擴散模型、圖像生成原理及社群實作分享,是開源 AI 圖像生成發展史上的重要里程碑。
Replicate 宣布推出 DreamBooth API,大幅簡化了個人化圖像生成模型的訓練流程。開發者只需提供少數幾張特定主體的照片,並透過單次 API 呼叫,就能在雲端自動完成微調。訓練完成的模型會直接託管於 Replicate,並立即提供 API 端點供後續的圖像生成預測使用。
本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫,開發者與創作者只需提供 3 到 5 張特定主體的照片,即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失(Prior Preservation Loss)的重要性,以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Hugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速,開發者可以在 TPU 和 GPU 上實現極致的推理速度,並輕鬆透過並行運算(pmap)在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Hugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion,並推出圖生圖(Img2Img)與局部繪製(Inpainting)等全新 Pipeline。此外,團隊大幅優化了記憶體佔用,引入 Attention Slicing 技術,讓 4GB 顯存的 GPU 也能順利運行擴散模型,並新增了多種採樣調度器(Schedulers)。
本教學指導開發者如何在 M1 Mac 上利用 PyTorch 的 MPS (Metal Performance Shaders) 後端,本地端調用 GPU 運行 Stable Diffusion。內容涵蓋 Python 環境設定、安裝支援 MPS 的 PyTorch 與 Hugging Face diffusers 庫,並提供完整的程式碼範例,讓開發者能完全免費、私密地在 local 端進行 AI 圖像生成與二次開發。
Replicate 平台讓開發者能夠透過簡單的 API 呼叫來運行 Stable Diffusion 等開源 AI 模型。 開發者無需自行架設昂貴且複雜的 GPU 基礎設施,只需使用 Python、JavaScript 等 SDK 即可快速整合。 此服務採用按秒計費制,非常適合用於黑客松、獨立開發專案或快速驗證產品原型。
本教學指導開發者如何建立一個 Discord 機器人,讓使用者在頻道中輸入提示詞後,自動呼叫 Replicate 上的 Stable Diffusion 模型生成圖片並回傳。內容涵蓋 Discord API 設定、Node.js 程式碼實作,以及如何將機器人部署至 Fly.io 平台,是學習 AI 應用整合的經典實作指南。
Hugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API,輕鬆載入權重並進行文字生成圖像(Text-to-Image)的推論。文章詳細介紹了潛在擴散模型(Latent Diffusion)的運作原理,並提供多種記憶體優化技術,大幅降低了開源 AI 繪圖的硬體門檻。