本文介紹 Hugging Face 推出的一站式硬體優化工具包 Optimum,展示如何將 Transformers 模型轉換為 ONNX 格式。透過簡單的 optimum-cli 命令行工具或 Python API,開發者即可完成轉換,並利用 ONNX Runtime 在各種硬體上實現顯著的推理加速與量化優化,解決過去手動轉換繁瑣且易出錯的痛點。
Intel 與 Hugging Face 宣布建立長期合作夥伴關係,旨在簡化 Transformer 模型在 Intel 硬體上的加速與部署。雙方合作推出了 Optimum Intel 開源庫,整合了 OpenVINO、IPEX 等優化工具,讓開發者無需繁瑣修改代碼,即可在 Intel Xeon 處理器及 Habana Gaudi 加速器上獲得極致的推理與訓練效能,大幅降低硬體加速門檻。
Hugging Face 宣布推出全新開源專案 Optimum,旨在簡化 Transformer 模型在特定硬體上的優化流程。透過與 Intel、Graphcore 等硬體夥伴合作,Optimum 提供模型量化、剪枝與圖優化等工具,讓開發者能輕鬆在各式加速器上實現最大化的生產線部署效率。