Hugging Face 與 LCM 團隊合作推出 LCM-LoRA,這是一種通用的低秩自適應(LoRA)蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步,同時保持極佳的影像品質。最重要的是,它能直接套用於現有的任何 SDXL 微調模型與 LoRA,無需重新訓練,為即時圖像生成帶來突破。
本文為 Replicate 釋出的技術教學,指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數(僅需 1-4 步),將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內,非常適合需要即時反饋的創作者與開發者。
Hugging Face 發表技術指南,展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯(JIT)與 Diffusers 庫的 Flax 支援,開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試,為尋求 GPU 替代方案的團隊提供高效能選擇。
Hugging Face 官方發布指南,教導開發者如何部署熱門的開源專案「AI Comic Factory」。由於公共版本常因高流量需要排隊,使用者可以透過 Hugging Face Inference API 或專屬的 Inference Endpoints,配置自己的 LLM 與 SDXL 圖像生成服務,低成本打造專屬且流暢的 AI 漫畫創作平台。
Hugging Face 介紹了新型圖像生成模型 Würstchen,其核心在於創新的三階段架構,能將潛在空間壓縮高達 42 倍。這使得它在生成速度和訓練成本上遠優於傳統的 Stable Diffusion,同時保持優異的視覺品質。目前該模型已整合至 Diffusers 函式庫中,適合硬體資源有限的開發者與研究人員。
Hugging Face 宣布與騰訊 ARC 實驗室合作,將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet,T2I-Adapter 僅有約 79M 參數,能在不犧牲生成品質的前提下,大幅降低顯示記憶體(VRAM)佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖(Sketch)、深度圖(Depth)等多種控制模式,並已整合至 diffusers 函式庫中。
本教學介紹如何利用開源模型部署框架 BentoML,將 Hugging Face 上的 DeepFloyd IF 影像生成模型轉化為生產級 API。文章詳細解析了 DeepFloyd IF 的多階段(Stage I/II/III)架構,並展示如何透過 BentoML 的 Runner 機制優化 GPU 資源分配。最後提供完整的程式碼範例與部署步驟,幫助開發者快速將複雜的擴散模型推向雲端生產環境。
AI 雲端託管平台 Replicate 宣布為 SDXL 1.0 推出微調(Fine-tuning)功能,支援 Dreambooth、Textual Inversion 和 LoRA 等技術。開發者與創作者現在可以透過 Replicate API,僅需一行程式碼就能上傳自己的圖片並訓練出客製化的 SDXL 模型,大幅降低了客製化圖像生成模型的技術門檻與算力維護成本。
Hugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small(約 5.11 億參數)與 SD-Tiny(約 3.23 億參數)的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數,這些模型在保留高圖像質量的同時,實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻,也讓開發者能自行蒸餾客製化的 SD 模型。
Hugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術(如 6-bit 與 8-bit 量化),成功將龐大的 SDXL 模型體積縮減,使其能在 Apple Silicon(M1/M2 系列晶片)的 Mac 上流暢運行,顯著降低記憶體需求,並充分釋放 Apple 神經網路引擎(ANE)的硬體效能。
Replicate 宣布支援 Stability AI 的 SDXL 1.0 圖像生成模型。開發者無需自行維護昂貴的 GPU 基礎設施,只需透過簡單的 Python、JavaScript 或 cURL API 呼叫,即可在雲端運行 SDXL 1.0。本指南展示了如何設定提示詞、尺寸等參數,並快速將高品質的 AI 繪圖功能整合至應用程式中。
Hugging Face 慶祝旗下核心開源庫 Diffusers 推出一週年。在過去一年中,Diffusers 憑藉直覺的 API 設計,成功降低了 Stable Diffusion 等擴散模型的技術門檻。該庫不僅支援了 ControlNet、LoRA 等多種前沿技術,還透過記憶體優化與硬體加速,讓生成式 AI 走入消費級硬體,成為開源 AI 生態系中不可或缺的基石。
Hugging Face 介紹了如何利用 InstructPix2Pix 對 Stable Diffusion 進行指令微調(Instruction-tuning)。該方法結合了 GPT-3 生成的編輯指令與 Stable Diffusion 生成的成對圖像,訓練出能理解「將蘋果換成橘子」等指令的圖像編輯模型。文章提供了完整的訓練流程、Diffusers 程式碼範例以及優化技巧,幫助開發者輕鬆上手圖像編輯任務。
Hugging Face 釋出官方指南,詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下,加入額外的控制條件(如邊緣、姿勢或深度)。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調,以及如何將訓練好的模型部署與推論。
Hugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件(如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等)的架構。透過全新的 StableDiffusionControlNetPipeline,開發者只需幾行程式碼即可實現高精度的圖像生成與編輯,大幅提升了 AI 繪圖的可控性。
Replicate 宣布支援 LoRA 技術,用於快速微調 Stable Diffusion 模型。相比於傳統的 DreamBooth,LoRA 不僅訓練速度大幅提升,產出的權重檔案也極小(僅數十 MB),讓創作者能以極低成本且更有效率地在雲端部署與切換不同的客製化風格。
本教學為 Hugging Face 遊戲開發 AI 系列的第四篇,專注於 2D 資產生成。文章深入探討如何利用 Stable Diffusion、DreamBooth 與 Image-to-Image 等技術,克服遊戲開發中「風格一致性」與「精確控制」的挑戰。讀者將學習如何生成無縫貼圖、角色概念圖及 UI 元素,並將其無縫整合至遊戲引擎的工作流中。
本文為 Hugging Face 官方介紹 LoRA(低秩適應)技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣,將顯存需求降至消費級顯卡即可運行的水平,且產出的權重檔案僅有數 MB(相較於完整微調的數 GB),極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
Apple 與 Hugging Face 合作推出 Core ML 版的 Stable Diffusion,讓 Mac、iPad 和 iPhone 能直接利用 Apple 類神經引擎(ANE)進行硬體加速。開發者可以使用 Hugging Face 的 diffusers 庫與 Apple 的轉換工具,將 PyTorch 模型轉換為 .mlpackage 格式。此舉大幅降低了在 Apple 裝置上部署生成式 AI 模型的門檻,並顯著提升了圖像生成速度與能源效率。
本文介紹 Hugging Face 於 2022 年 11 月舉辦的「Diffusion Models Live Event」直播活動。該活動旨在向開發者與研究人員推廣擴散模型技術,並介紹當時新推出的 diffusers 函式庫。活動內容涵蓋從零開始訓練擴散模型、圖像生成原理及社群實作分享,是開源 AI 圖像生成發展史上的重要里程碑。
Replicate 宣布推出 DreamBooth API,大幅簡化了個人化圖像生成模型的訓練流程。開發者只需提供少數幾張特定主體的照片,並透過單次 API 呼叫,就能在雲端自動完成微調。訓練完成的模型會直接託管於 Replicate,並立即提供 API 端點供後續的圖像生成預測使用。
本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫,開發者與創作者只需提供 3 到 5 張特定主體的照片,即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失(Prior Preservation Loss)的重要性,以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Hugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速,開發者可以在 TPU 和 GPU 上實現極致的推理速度,並輕鬆透過並行運算(pmap)在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Stability AI 於 2022 年 10 月推出了「Japanese Stable Diffusion」模型。該模型專為日語語境進行優化,解決了先前英文版 Stable Diffusion 難以精確理解日語輸入與日本文化細節的問題。用戶可以直接使用日語進行 Prompt 創作,生成更符合日本審美與文化背景的圖像,並已開源託管於 Hugging Face。
Hugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion,並推出圖生圖(Img2Img)與局部繪製(Inpainting)等全新 Pipeline。此外,團隊大幅優化了記憶體佔用,引入 Attention Slicing 技術,讓 4GB 顯存的 GPU 也能順利運行擴散模型,並新增了多種採樣調度器(Schedulers)。
Replicate 平台讓開發者能夠透過簡單的 API 呼叫來運行 Stable Diffusion 等開源 AI 模型。 開發者無需自行架設昂貴且複雜的 GPU 基礎設施,只需使用 Python、JavaScript 等 SDK 即可快速整合。 此服務採用按秒計費制,非常適合用於黑客松、獨立開發專案或快速驗證產品原型。
Hugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API,輕鬆載入權重並進行文字生成圖像(Text-to-Image)的推論。文章詳細介紹了潛在擴散模型(Latent Diffusion)的運作原理,並提供多種記憶體優化技術,大幅降低了開源 AI 繪圖的硬體門檻。
Replicate 介紹了如何透過其 API 運行文字生成圖片模型。讀者將學習到如何使用 Python 客戶端,只需幾行程式碼即可呼叫雲端託管的 AI 模型,並輸入提示詞(Prompt)來生成影像。這為開發者提供了一個無需本地高階 GPU 即可快速整合圖像生成功能的途徑。