Serverless Inference with Hugging Face and NVIDIA NIM

Hugging Face 與 NVIDIA 合作推出由 NVIDIA NIM 驅動的無伺服器推論服務，讓開發者能以極低延遲輕鬆部署開源模型。

Hugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。

摘要由 AI 整理,以原文為準。