Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers★ 82
Hugging Face Blog264d agoTutorialHugging Face 官方解析了 OpenAI 最新開源項目 `gpt-oss` 的核心加速技術，並教導開發者如何將這些優化手段移植到現有的 `transformers` 庫中。重點技巧包含：利用 `torch.compile` 配合「靜態 KV 快取」消除 Python 執行期開銷、引入「投機性解碼」實現多倍速生成，以及透過 FP8/INT4 量化與 Triton 自訂核心緩解記憶體頻寬瓶頸。這些方法能讓開發者在不犧牲精度的情況下，極大化 GPU 的推論效率。
Make your ZeroGPU Spaces go brrr with ahead-of-time compilation★ 75
Hugging Face Blog273d agoTutorialHugging Face 釋出最新指南，教導開發者如何在 ZeroGPU Spaces 中使用 PyTorch 的 AOT (Ahead-of-Time) 提前編譯技術。透過在建置階段將模型預先編譯為優化的 C++ 共享庫，開發者可以完全消除運行時的首次熱身（warm-up）延遲。這不僅能讓 ZeroGPU 的啟動與推理速度飛起，還能有效節省寶貴的 GPU 使用配額。
Fast LoRA inference for Flux with Diffusers and PEFT★ 80
Hugging Face Blog314d agoTutorial本文介紹如何利用 Hugging Face 的 Diffusers 與 PEFT 庫，大幅加速 Flux.1 圖像生成模型的 LoRA 推論。透過融合 LoRA 權重（Fusing）、使用 torch.compile 進行編譯優化，以及利用 PEFT 的動態適配器管理，開發者可以在不損失畫質的前提下，顯著降低推論延遲並實現多 LoRA 的快速切換，非常適合生產環境部署。
KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog363d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
Bamba: Inference-Efficient Hybrid Mamba2 Model★ 75
Hugging Face Blog531d agoReleaseHugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。
Faster Text Generation with Self-Speculative Decoding★ 78
Hugging Face Blog559d agoReleaseHugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。
Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog581d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。
Faster Assisted Generation with Dynamic Speculation★ 75
Hugging Face Blog602d agoReleaseHugging Face 介紹了在 transformers 庫中實現的「動態投機（Dynamic Speculation）」技術。傳統的輔助生成（Assisted Generation）使用固定長度的草稿 Token 進行驗證，而動態投機則會根據草稿模型的即時接受率，動態調整預測長度（K 值）。這項改進能在不犧牲生成品質的前提下，顯著減少不必要的計算並提升推理速度，讓開發者更輕鬆地優化 LLM 部署。
Faster assisted generation support for Intel Gaudi
Hugging Face Blog728d agoReleaseHugging Face 宣布在 Intel Gaudi 晶片上支援「輔助生成」（Assisted Generation，即投機解碼）。此技術透過小型草稿模型預測 Token，再由大型目標模型進行並行驗證，能顯著降低延遲並提高吞吐量。這項更新整合至 Optimum Habana 庫中，讓開發者能在 Gaudi 硬體上更高效地部署 LLM。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog869d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Speculative Decoding for 2x Faster Whisper Inference★ 75
Hugging Face Blog895d agoTutorialHugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。
Exploring simple optimizations for SDXL★ 75
Hugging Face Blog952d agoTutorial本文介紹了針對 Stable Diffusion XL (SDXL) 的多項實用推論優化技術。透過 Hugging Face 的 Diffusers 函式庫，開發者可以輕鬆啟用 PyTorch 2.0 的 `torch.compile()`、記憶體高效注意力機制（SDPA）、CPU 卸載（CPU Offloading）以及 VAE 分片與平鋪技術。這些方法能在不犧牲影像品質的前提下，顯著縮短生成時間並降低 GPU 顯示記憶體（VRAM）的需求，讓消費級顯示卡也能流暢運行。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog972d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
🧨 Accelerating Stable Diffusion XL Inference with JAX on Cloud TPU v5e★ 70
Hugging Face Blog973d agoTutorialHugging Face 發表技術指南，展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯（JIT）與 Diffusers 庫的 Flax 支援，開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試，為尋求 GPU 替代方案的團隊提供高效能選擇。
Introducing RWKV - An RNN with the advantages of a transformer★ 75
Hugging Face Blog1114d agoReleaseHugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構，它在訓練時能像 Transformer 一樣進行並行化計算，但在推論時則展現出 RNN 的特性，具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Faster Text Generation with TensorFlow and XLA
Hugging Face Blog1406d agoTutorialHugging Face 官方部落格介紹了結合 TensorFlow 與 XLA（加速線性代數）編譯器來優化文本生成的方法。透過在 generate() 函數中啟用 jit_compile=True，開發者可以顯著減少推論延遲。然而，由於 XLA 需要靜態形狀（static shapes），使用時必須對輸入進行固定長度的填充與截斷。
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
Hugging Face Blog1539d agoTutorial本教學介紹如何結合 Hugging Face Transformers、AWS Neuron SDK 與 Amazon SageMaker，在 AWS Inferentia (inf1) 實例上部署 BERT 模型。透過將模型編譯為 Neuron 格式，開發者能以極低的延遲和更低的成本進行大規模 NLP 推論，非常適合需要高吞吐量生產環境的團隊。
Faster TensorFlow models in Hugging Face Transformers
Hugging Face Blog1953d agoTutorial本文介紹如何將 Hugging Face Transformers 中的 TensorFlow 模型導出為 SavedModel 格式，並利用 TensorFlow Serving 進行高效部署。透過啟用 XLA（加速線性代數）編譯，開發者可以顯著降低推理延遲並提高吞吐量。這套方案為生產環境提供了一個無需 Python 運行時、高併發且低延遲的 NLP 模型服務架構。