Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models★ 75
Hugging Face Blog246d agoTutorialHugging Face 發表最新技術，展示如何在 Intel Core Ultra 平台上加速 Qwen3-8B Agent。該方法採用「深度剪枝（Depth-Pruning）」技術製作輕量化的草稿模型，並結合投機解碼（Speculative Decoding）技術。這使得在個人電腦（Edge AI）上運行複雜的 Agent 任務時，能獲得更高的 Token 生成效率與更低的延遲，為本地端 AI 應用帶來突破。
Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers★ 82
Hugging Face Blog264d agoTutorialHugging Face 官方解析了 OpenAI 最新開源項目 `gpt-oss` 的核心加速技術，並教導開發者如何將這些優化手段移植到現有的 `transformers` 庫中。重點技巧包含：利用 `torch.compile` 配合「靜態 KV 快取」消除 Python 執行期開銷、引入「投機性解碼」實現多倍速生成，以及透過 FP8/INT4 量化與 Triton 自訂核心緩解記憶體頻寬瓶頸。這些方法能讓開發者在不犧牲精度的情況下，極大化 GPU 的推論效率。
Faster Text Generation with Self-Speculative Decoding★ 78
Hugging Face Blog559d agoReleaseHugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。
Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog581d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。
Faster Assisted Generation with Dynamic Speculation★ 75
Hugging Face Blog602d agoReleaseHugging Face 介紹了在 transformers 庫中實現的「動態投機（Dynamic Speculation）」技術。傳統的輔助生成（Assisted Generation）使用固定長度的草稿 Token 進行驗證，而動態投機則會根據草稿模型的即時接受率，動態調整預測長度（K 值）。這項改進能在不犧牲生成品質的前提下，顯著減少不必要的計算並提升推理速度，讓開發者更輕鬆地優化 LLM 部署。
Faster assisted generation support for Intel Gaudi
Hugging Face Blog728d agoReleaseHugging Face 宣布在 Intel Gaudi 晶片上支援「輔助生成」（Assisted Generation，即投機解碼）。此技術透過小型草稿模型預測 Token，再由大型目標模型進行並行驗證，能顯著降低延遲並提高吞吐量。這項更新整合至 Optimum Habana 庫中，讓開發者能在 Gaudi 硬體上更高效地部署 LLM。
Powerful ASR + diarization + speculative decoding with Hugging Face Inference Endpoints★ 75
Hugging Face Blog762d agoTutorialHugging Face 介紹了如何在 Inference Endpoints 上整合自動語音辨識（ASR）與語者辨識（Diarization）。透過結合 Whisper 與 PyAnnote 模型，並導入投機解碼（Speculative Decoding）技術，大幅提升了語音轉文字的推理速度與精準度。此方案為開發者提供了一個開箱即用、具備高擴展性的生產級語音處理管線。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog854d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Speculative Decoding for 2x Faster Whisper Inference★ 75
Hugging Face Blog895d agoTutorialHugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。
Optimizing your LLM in production★ 85
Hugging Face Blog991d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。