Accelerate your models with 🤗 Optimum Intel and OpenVINO

Hugging Face 整合 Intel OpenVINO，開發者只需修改幾行程式碼即可在 Intel 硬體上大幅加速模型推理。

Hugging Face 介紹了 `optimum-intel` 與 Intel OpenVINO 的整合。開發者可使用簡單的 `OVModel` API 直接在 Intel CPU 和 GPU 上載入、優化並運行 Hugging Face 模型。此工具還整合了 NNCF 框架，支援將模型量化至 INT8，在極低精度損失下顯著提升推理效率並降低延遲，非常適合邊緣運算與伺服器部署。

摘要由 AI 整理,以原文為準。