🔥 Trending today
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2★ 80
Hugging Face Blog650d agoTutorial在 LLM 訓練中，傳統的 Padding 會浪費大量算力。Hugging Face 介紹了結合 Flash Attention 2 的 Packing（序列打包）技術，將多個短樣本拼接成固定長度，並利用 FA2 的變長注意力（varlen）避免樣本間干擾。這項優化能顯著提升訓練吞吐量並降低顯存佔用，已整合至 TRL 等工具中。
Optimizing your LLM in production★ 85
Hugging Face Blog991d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。