Exploring Quantization Backends in Diffusers★ 80
Hugging Face Blog377d agoTutorialHugging Face 發布技術指南，深入比較 `diffusers` 庫中 bitsandbytes、torchao 等量化後端。文章分析了不同量化格式（如 NF4、INT8、INT4）在 VRAM 佔用、推理速度與圖像品質上的權衡，為在消費級顯卡上部署 Flux.1 或 SD3 等大型擴散模型提供實用指引。這對於希望在有限硬體資源下優化生成式 AI 應用的開發者而言是必讀內容。
Remote VAEs for decoding with Inference Endpoints 🤗★ 75
Hugging Face Blog463d agoReleaseHugging Face 宣布在 Inference Endpoints 中支援「Remote VAE」解碼功能。在運行 FLUX.1 或 Stable Diffusion 等大型圖像生成模型時，VAE 解碼通常會消耗大量 GPU 顯存（VRAM）。透過將 VAE 解碼步驟與潛在空間生成解耦並進行遠端處理，開發者可以在較小、較便宜的 GPU 上部署大型擴散模型，同時優化整體的推論吞吐量與頻寬傳輸。
Memory-efficient Diffusion Transformers with Quanto and Diffusers★ 80
Hugging Face Blog672d agoReleaseHugging Face 介紹了如何利用 optimum-quanto 量化工具來優化 diffusers 中的 Diffusion Transformers (DiT) 模型。隨著 DiT 模型（如 PixArt、HunyuanDiT）體積日益龐大，記憶體成為運行的瓶頸。透過將模型權重進行 8-bit 或 4-bit 量化，開發者可以在消費級 GPU 上以極低的精度損失運行這些大型生成模型，顯著降低 VRAM 需求。
Unlocking Longer Generation with Key-Value Cache Quantization★ 80
Hugging Face Blog747d agoTutorial隨著 LLM 上下文長度增加，KV Cache 佔用的記憶體成為推論瓶頸。Hugging Face 探討了 KV Cache 量化技術（如 INT8 和 INT4），這項技術能減少高達 75% 的快取記憶體佔用。這不僅能顯著提升推論的批次大小（Batch Size），還能在不犧牲太多精度的情況下，讓消費級顯卡也能運行超長文本生成。
Running IF with 🧨 diffusers on a Free Tier Google Colab
Hugging Face Blog1133d agoTutorialDeepFloyd IF 是一款強大的像素級文字生成圖像模型，因包含龐大的 T5-XXL 文字編碼器，通常需要極高 VRAM 才能運行。Hugging Face 官方發布教學，展示如何透過 `diffusers` 庫的優化技術——包括 8-bit 量化、CPU 卸載（CPU Offloading）以及分階段釋放記憶體，讓開發者能在僅有 15GB VRAM 的免費版 Google Colab（T4 GPU）上，順利跑完該模型的三個級聯階段，生成 1024x1024 的高解析度影像。
Optimization story: Bloom inference
Hugging Face Blog1329d agoTutorial本文探討 Hugging Face 優化 1760 億參數大模型 BLOOM 推理的技術細節。面對 FP16 下高達 352GB 的顯示記憶體需求，團隊結合了 8-bit 量化（LLM.int8()）、Tensor Parallelism（張量並行）以及 Hugging Face Accelerate 的 CPU/NVMe 卸載技術。這些優化成功將記憶體需求減半，並顯著提升吞吐量，降低了開源社群部署超大型語言模型的門檻。