Hugging Face 宣布與騰訊 ARC 實驗室合作,將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet,T2I-Adapter 僅有約 79M 參數,能在不犧牲生成品質的前提下,大幅降低顯示記憶體(VRAM)佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖(Sketch)、深度圖(Depth)等多種控制模式,並已整合至 diffusers 函式庫中。
Hugging Face 釋出官方指南,詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下,加入額外的控制條件(如邊緣、姿勢或深度)。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調,以及如何將訓練好的模型部署與推論。
Hugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件(如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等)的架構。透過全新的 StableDiffusionControlNetPipeline,開發者只需幾行程式碼即可實現高精度的圖像生成與編輯,大幅提升了 AI 繪圖的可控性。