No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL

Hugging Face TRL 引入 vLLM 協同部署，大幅加速 RLHF 訓練生成階段，實現 GPU 零閒置。

Hugging Face 的 TRL 團隊推出與 vLLM 協同部署（Co-located）的新功能。在進行線上強化學習（如 PPO、GRPO）訓練時，生成階段常是效能瓶頸。透過在相同 GPU 上同時運行訓練與 vLLM 推理引擎，此技術能無縫共享權重並利用 vLLM 的高效生成能力，顯著提升 GPU 利用率並縮短整體訓練時間。

摘要由 AI 整理,以原文為準。