Google Cloud C4 Brings a 70% TCO improvement on GPT OSS with Intel and Hugging Face★ 75
Hugging Face Blog229d agoReleaseGoogle Cloud 與 Intel、Hugging Face 合作，在搭載第五代 Intel Xeon 處理器的 C4 實例上運行開源 GPT 模型。透過 Intel AMX 硬體加速與 Hugging Face Optimum 軟體優化，顯著提升推論效能。這項整合為企業帶來高達 70% 的總體擁有成本（TCO）改善，提供更具性價比的 CPU 推論選擇。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog600d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
Hugging Face Blog790d agoTutorialSetFit 是一款高效的少樣本文字分類框架。本文介紹如何結合 Hugging Face Optimum Intel，在 Intel Xeon 處理器上進行硬體級推論加速。透過 OpenVINO 等技術，開發者無需 GPU 即可在 CPU 上實現極低延遲與高吞吐量的 NLP 模型部署。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog854d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum
Hugging Face Blog1104d agoTutorial本文介紹 Hugging Face 與 Intel 合作的優化方案。透過 Optimum Intel 與神經網路壓縮框架（NNCF），開發者可以輕鬆對 Stable Diffusion 進行訓練後量化（PTQ）。這項技術能將模型壓縮至 INT8 精度，在顯著降低記憶體佔用的同時，大幅加速 Intel CPU 上的圖像生成速度，且幾乎不損失圖像品質。
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Hugging Face Blog1113d agoReleaseHugging Face 介紹了與 Intel 合作的 Q8-Chat 專案，展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術，將模型進行 8-bit (INT8) 量化，大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術，證明無需昂貴的 GPU，利用現有 CPU 架構也能部署低延遲的聊天機器人。
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Blog1162d agoTutorial本文介紹在 Intel CPU 上加速 Stable Diffusion 推論的實用方法。透過 Hugging Face 的 Optimum Intel 整合套件，開發者可輕鬆利用 OpenVINO 和 Intel Extension for PyTorch (IPEX) 進行優化。在第四代 Intel Xeon 處理器上，結合 AMX 技術與 BF16/INT8 量化，能實現數倍的推論速度提升，為無 GPU 環境提供高效的替代方案。
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face Blog1601d agoNew Tool本案例研究探討了 Hugging Face Infinity 在現代 CPU（如 Intel Xeon）上的效能表現。透過硬體加速與優化技術，Infinity 能在 CPU 上實現單數位毫秒級的推理延遲。這為企業提供了一種高性價比、無需依賴昂貴 GPU 的 Transformer 模型部署選擇，特別適合文本分類與特徵提取等任務。
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face Blog1869d agoTutorial本文為 Hugging Face 與 Intel 合作的 CPU 優化指南首篇。文章深入探討 CPU 物理核心與超線程對深度學習的影響，並詳細說明如何透過正確配置 PyTorch 的 Intra-op/Inter-op 執行緒與環境變數（如 OMP_NUM_THREADS）來避免資源競爭。最後介紹了利用 ONNX Runtime 進行算子融合，為 BERT 在 CPU 上的部署奠定高效基礎。