Groq on Hugging Face Inference Providers 🔥

Hugging Face 宣佈整合 Groq 作為推理提供商，開發者可直接在 Hub 上體驗 Groq LPU 帶來的極致推理速度。

Hugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。

摘要由 AI 整理,以原文為準。