Hugging Face 與 LCM 團隊合作推出 LCM-LoRA,這是一種通用的低秩自適應(LoRA)蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步,同時保持極佳的影像品質。最重要的是,它能直接套用於現有的任何 SDXL 微調模型與 LoRA,無需重新訓練,為即時圖像生成帶來突破。
Hugging Face 發表技術指南,展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯(JIT)與 Diffusers 庫的 Flax 支援,開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試,為尋求 GPU 替代方案的團隊提供高效能選擇。
Hugging Face 宣布與騰訊 ARC 實驗室合作,將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet,T2I-Adapter 僅有約 79M 參數,能在不犧牲生成品質的前提下,大幅降低顯示記憶體(VRAM)佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖(Sketch)、深度圖(Depth)等多種控制模式,並已整合至 diffusers 函式庫中。
本文回顧了文字生成圖像(Text-to-Image)技術的演進歷程。從早期的 GAN 限制,到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮,再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出,開源社群與微調技術正以前所未有的速度重塑視覺創作。
Hugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術(如 6-bit 與 8-bit 量化),成功將龐大的 SDXL 模型體積縮減,使其能在 Apple Silicon(M1/M2 系列晶片)的 Mac 上流暢運行,顯著降低記憶體需求,並充分釋放 Apple 神經網路引擎(ANE)的硬體效能。