🔥 Trending today
Unlocking asynchronicity in continuous batching★ 75
Hugging Face Blog19d agoRelease本文介紹了 Hugging Face 在 LLM 推論優化上的最新技術：在連續批次處理（Continuous Batching）中解鎖非同步（Asynchronicity）機制。傳統的連續批次處理在排程、GPU 執行與 Token 處理間存在同步瓶頸。透過將這些步驟非同步化，能有效重疊 CPU 與 GPU 的工作負載，進而大幅提升推論吞吐量並優化首字輸出時間（TTFT）。
Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries★ 85
Hugging Face Blog84d agoCommentary隨著 LLM 強化學習（RL）成為顯學，如何優化訓練效率成為關鍵。Hugging Face 評估了 16 個開源 RL 函式庫，指出傳統同步訓練因「生成」與「訓練」運算特性不同，會導致嚴重的 GPU 閒置。本文總結了非同步 RL 訓練（Async RL）的最新技術趨勢，探討如何透過解耦架構與高效記憶體管理，讓 Token 持續流動並最大化吞吐量。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。