🔥 Trending today
Google Cloud C4 Brings a 70% TCO improvement on GPT OSS with Intel and Hugging Face★ 75
Hugging Face Blog229d agoReleaseGoogle Cloud 與 Intel、Hugging Face 合作，在搭載第五代 Intel Xeon 處理器的 C4 實例上運行開源 GPT 模型。透過 Intel AMX 硬體加速與 Hugging Face Optimum 軟體優化，顯著提升推論效能。這項整合為企業帶來高達 70% 的總體擁有成本（TCO）改善，提供更具性價比的 CPU 推論選擇。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。