Hugging Face 於 Diffusers 推出全新的 SDXL LoRA 進階訓練腳本,旨在整合開源社群(如 Kohya)的各種訓練技巧。該腳本支援雙文字編碼器微調、Offset Noise、Min-SNR 權重及多解析度訓練,讓開發者與創作者能以更標準、高效的方式訓練出高品質的 SDXL LoRA 模型。
Hugging Face 與 LCM 團隊合作推出 LCM-LoRA,這是一種通用的低秩自適應(LoRA)蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步,同時保持極佳的影像品質。最重要的是,它能直接套用於現有的任何 SDXL 微調模型與 LoRA,無需重新訓練,為即時圖像生成帶來突破。
本文介紹了針對 Stable Diffusion XL (SDXL) 的多項實用推論優化技術。透過 Hugging Face 的 Diffusers 函式庫,開發者可以輕鬆啟用 PyTorch 2.0 的 `torch.compile()`、記憶體高效注意力機制(SDPA)、CPU 卸載(CPU Offloading)以及 VAE 分片與平鋪技術。這些方法能在不犧牲影像品質的前提下,顯著縮短生成時間並降低 GPU 顯示記憶體(VRAM)的需求,讓消費級顯示卡也能流暢運行。
Hugging Face 宣布與騰訊 ARC 實驗室合作,將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet,T2I-Adapter 僅有約 79M 參數,能在不犧牲生成品質的前提下,大幅降低顯示記憶體(VRAM)佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖(Sketch)、深度圖(Depth)等多種控制模式,並已整合至 diffusers 函式庫中。
本文回顧了文字生成圖像(Text-to-Image)技術的演進歷程。從早期的 GAN 限制,到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮,再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出,開源社群與微調技術正以前所未有的速度重塑視覺創作。
AI 雲端託管平台 Replicate 宣布為 SDXL 1.0 推出微調(Fine-tuning)功能,支援 Dreambooth、Textual Inversion 和 LoRA 等技術。開發者與創作者現在可以透過 Replicate API,僅需一行程式碼就能上傳自己的圖片並訓練出客製化的 SDXL 模型,大幅降低了客製化圖像生成模型的技術門檻與算力維護成本。
Hugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術(如 6-bit 與 8-bit 量化),成功將龐大的 SDXL 模型體積縮減,使其能在 Apple Silicon(M1/M2 系列晶片)的 Mac 上流暢運行,顯著降低記憶體需求,並充分釋放 Apple 神經網路引擎(ANE)的硬體效能。
Replicate 宣布支援 Stability AI 的 SDXL 1.0 圖像生成模型。開發者無需自行維護昂貴的 GPU 基礎設施,只需透過簡單的 Python、JavaScript 或 cURL API 呼叫,即可在雲端運行 SDXL 1.0。本指南展示了如何設定提示詞、尺寸等參數,並快速將高品質的 AI 繪圖功能整合至應用程式中。