🔥 Trending today
Unlocking asynchronicity in continuous batching★ 75
Hugging Face Blog19d agoRelease本文介紹了 Hugging Face 在 LLM 推論優化上的最新技術：在連續批次處理（Continuous Batching）中解鎖非同步（Asynchronicity）機制。傳統的連續批次處理在排程、GPU 執行與 Token 處理間存在同步瓶頸。透過將這些步驟非同步化，能有效重疊 CPU 與 GPU 的工作負載，進而大幅提升推論吞吐量並優化首字輸出時間（TTFT）。
Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries★ 85
Hugging Face Blog84d agoCommentary隨著 LLM 強化學習（RL）成為顯學，如何優化訓練效率成為關鍵。Hugging Face 評估了 16 個開源 RL 函式庫，指出傳統同步訓練因「生成」與「訓練」運算特性不同，會導致嚴重的 GPU 閒置。本文總結了非同步 RL 訓練（Async RL）的最新技術趨勢，探討如何透過解耦架構與高效記憶體管理，讓 Token 持續流動並最大化吞吐量。