Memory-efficient Diffusion Transformers with Quanto and Diffusers

Hugging Face 整合 Quanto 與 Diffusers，支援對 DiT 模型進行 FP8/INT8 量化，大幅降低 VRAM 門檻。

Hugging Face 介紹了如何利用 optimum-quanto 量化工具來優化 diffusers 中的 Diffusion Transformers (DiT) 模型。隨著 DiT 模型（如 PixArt、HunyuanDiT）體積日益龐大，記憶體成為運行的瓶頸。透過將模型權重進行 8-bit 或 4-bit 量化，開發者可以在消費級 GPU 上以極低的精度損失運行這些大型生成模型，顯著降低 VRAM 需求。

摘要由 AI 整理,以原文為準。