🚀 Accelerating LLM Inference with TGI on Intel Gaudi

Hugging Face 宣布 TGI 正式支援 Intel Gaudi 後端，為企業提供高性價比的 NVIDIA 替代方案。

Hugging Face 宣布其文字生成推理（TGI）框架現已整合 Intel Gaudi 加速器後端。這項合作讓開發者能直接在 Intel Gaudi 2 和 Gaudi 3 晶片上部署高效能 LLM，並享有連續批處理（Continuous Batching）與張量並行（Tensor Parallelism）等優化技術。此舉為企業在 NVIDIA 之外，提供了一個極具成本效益且易於部署的 AI 推理硬體新選擇。

摘要由 AI 整理,以原文為準。