Hugging Face 宣布與 NVIDIA 深度整合,推出支援多種 LLM 的 NVIDIA NIM(推理微服務)。開發者現在可以直接在 Hugging Face 平台上,利用經 TensorRT-LLM 優化的 NIM 容器,輕鬆部署 Llama、Mistral 等熱門開源模型,大幅提升推理吞吐量並降低延遲,簡化企業級 AI 應用的落地流程。
Hugging Face 宣布與 NVIDIA 深度整合,在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動,開發者無需管理複雜的 GPU 基礎設施,即可一鍵部署 Llama 3、Mistral 等熱門開源模型,並享有 TensorRT 優化帶來的極致效能與低延遲。