Optimize and deploy with Optimum-Intel and OpenVINO GenAI

介紹如何利用 Hugging Face 的 Optimum-Intel 與 OpenVINO GenAI，在 Intel 硬體上高效優化並部署生成式 AI 模型。

本文介紹 Hugging Face 與 Intel 合作的最新部署方案。透過 optimum-intel 工具，開發者可以輕鬆將 Transformers 模型轉換並量化（如 INT4）為 OpenVINO 格式。接著，利用全新且輕量化的 openvino-genai API，即可在 Intel CPU、GPU 及 NPU 上實現極速的生成式 AI 推理，大幅簡化了從模型訓練到邊緣端部署的流程。

摘要由 AI 整理,以原文為準。