Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 2

Hugging Face 介紹如何利用 Intel 第四代 Xeon 處理器（Sapphire Rapids）與 AMX 技術，大幅提升 PyTorch Transformer 模型的推論效能。

本文為 Hugging Face 與 Intel 合作系列文章的第二部分，聚焦於推論加速。介紹如何透過 Intel 第四代 Xeon 可擴充處理器（Sapphire Rapids）內建的 Intel AMX 技術，並結合 Hugging Face Optimum Intel 與 IPEX 工具，實現 BF16 與 INT8 的混合精度推論。測試顯示，這能為 Transformer 模型帶來數倍的效能提升，且只需修改極少量的代碼。

摘要由 AI 整理,以原文為準。