🔥 Trending today
Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 2
Hugging Face Blog1212d agoTutorial本文為 Hugging Face 與 Intel 合作系列文章的第二部分，聚焦於推論加速。介紹如何透過 Intel 第四代 Xeon 可擴充處理器（Sapphire Rapids）內建的 Intel AMX 技術，並結合 Hugging Face Optimum Intel 與 IPEX 工具，實現 BF16 與 INT8 的混合精度推論。測試顯示，這能為 Transformer 模型帶來數倍的效能提升，且只需修改極少量的代碼。
Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 1
Hugging Face Blog1247d agoTutorialHugging Face 與 Intel 合作，展示如何在新一代 Intel Sapphire Rapids 處理器上加速 Transformer 模型。 透過內建的 Intel AMX（進階矩陣擴充）指令集，能顯著提升 BF16 與 INT8 的運算效率。 開發者只需搭配 optimum-intel 庫，即可輕鬆在 CPU 上實現高達數倍的推理與訓練加速，無需繁瑣的底層代碼修改。