Benchmarking Language Model Performance on 5th Gen Xeon at GCP

Hugging Face 評測 GCP C4 執行個體（搭載第五代 Intel Xeon），展示 CPU 執行 LLM 推論的性價比與 AMX 加速優勢。

Hugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。

摘要由 AI 整理,以原文為準。