Continuous batching from first principles★ 80
Hugging Face Blog189d agoTutorialHugging Face 發布技術教學，從第一性原理深入探討 LLM 推理的關鍵優化技術「連續批處理（Continuous Batching）」。文章解析了傳統靜態批處理在處理變長文本時的低效問題，並詳細說明如何透過 Token 級別的動態調度，在 Prefill（預填充）與 Decode（解碼）階段最大化 GPU 利用率。這對於想優化 LLM 部署成本與吞吐量的開發者與研究人員是必讀指南。
Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers★ 82
Hugging Face Blog264d agoTutorialHugging Face 官方解析了 OpenAI 最新開源項目 `gpt-oss` 的核心加速技術，並教導開發者如何將這些優化手段移植到現有的 `transformers` 庫中。重點技巧包含：利用 `torch.compile` 配合「靜態 KV 快取」消除 Python 執行期開銷、引入「投機性解碼」實現多倍速生成，以及透過 FP8/INT4 量化與 Triton 自訂核心緩解記憶體頻寬瓶頸。這些方法能讓開發者在不犧牲精度的情況下，極大化 GPU 的推論效率。
How Long Prompts Block Other Requests - Optimizing LLM Performance★ 80
Hugging Face Blog355d agoTutorial本文探討 LLM 在處理長 Prompt 時，因 Prefill（預填充）階段佔用大量 GPU 運算，導致其他短請求或生成階段被阻塞的「隊頭阻塞」現象。文章深入分析了 Prefill 與 Decode 階段的資源衝突，並提出分塊預填充（Chunked Prefill）與 Prompt 快取（Prompt Caching）等關鍵優化策略，以在多用戶併發環境下顯著降低延遲並提升吞吐量。
KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog363d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
Prefill and Decode for Concurrent Requests - Optimizing LLM Performance★ 82
Hugging Face Blog412d agoTutorialLLM 推論包含計算密集的 Prefill（處理輸入）與記憶體頻寬受限的 Decode（逐字生成）階段。當面對多個併發請求時，傳統靜態批處理會導致資源浪費。本文介紹了連續批處理（Continuous Batching）、區塊預填充（Chunked Prefill）以及 Prefill-Decode 分離等技術，幫助開發者在高併發場景下最大化吞吐量並降低延遲。
Efficient Request Queueing – Optimizing LLM Performance★ 75
Hugging Face Blog426d agoTutorial隨著大語言模型（LLM）應用的普及，如何在高併發流量下維持低延遲與高吞吐量成為關鍵挑戰。本文深入分析了 LLM 推論的記憶體瓶頸（特別是 KV Cache），並探討如何結合「連續批處理（Continuous Batching）」與「請求佇列（Request Queueing）」機制。透過在推論引擎層與網關層實施合理的佇列策略，能有效防止 GPU 記憶體溢位（OOM），並在維持高吞吐量的同時，優化首字延遲（TTFT）與字元間延遲（ITL）。
Mastering Long Contexts in LLMs with KVPress★ 75
Hugging Face Blog495d agoNew Tool隨著大語言模型（LLM）處理的上下文長度不斷增加，KV Cache（鍵值快取）已成為記憶體與推理速度的主要瓶頸。NVIDIA 與 Hugging Face 合作推出了開源庫 KVPress，旨在簡化各種 KV Cache 壓縮技術的實現與評估。KVPress 提供統一的 API，支援多種剪枝與壓縮策略，能有效降低長文本推理時的硬體門檻，並與 Hugging Face transformers 生態系無縫整合。
Unlocking Longer Generation with Key-Value Cache Quantization★ 80
Hugging Face Blog747d agoTutorial隨著 LLM 上下文長度增加，KV Cache 佔用的記憶體成為推論瓶頸。Hugging Face 探討了 KV Cache 量化技術（如 INT8 和 INT4），這項技術能減少高達 75% 的快取記憶體佔用。這不僅能顯著提升推論的批次大小（Batch Size），還能在不犧牲太多精度的情況下，讓消費級顯卡也能運行超長文本生成。