Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive

本文介紹如何利用微軟的 ONNX Runtime 與 Olive 優化工具，大幅提升 SD Turbo 與 SDXL Turbo 圖像生成模型的推論速度。

Hugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。

摘要由 AI 整理,以原文為準。