Accelerating over 130,000 Hugging Face models with ONNX Runtime

Hugging Face 與微軟合作，透過 Optimum 庫與 ONNX Runtime 為 Hub 上逾 13 萬個模型提供開箱即用的推理加速。

Hugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。

摘要由 AI 整理,以原文為準。