Hugging Face BlogJun 23, 2025, 12:00 AM重要 75

Transformers backend integration in SGLang

SGLang 整合 Hugging Face Transformers 作為執行後端,讓開發者能直接在 SGLang 中運行所有 HF 支援的模型。

高效能 LLM 推理與結構化生成框架 SGLang 宣布正式整合 Hugging Face Transformers 作為其執行後端。此更新讓開發者能直接利用 SGLang 的結構化控制 API(如 gen、select 等)驅動任何 Hugging Face 上的模型,無需等待原生 CUDA 核心適配,為新架構模型的快速原型設計、除錯與相容性測試提供極大便利。

想看英文原文 / 完整內容?

前往 Hugging Face Blog 原文 →

摘要由 AI 整理,以原文為準。