Optimizing Bark using 🤗 Transformers

本文介紹如何透過 Hugging Face Transformers 庫，利用半精度、CPU 卸載與 SDPA 等技術大幅優化 Bark 語音生成模型。

Bark 是 Suno 推出基於 Transformer 的文字轉語音（TTS）與音訊生成模型。由於其包含多個子模型，推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術，包括啟用半精度（fp16）、智慧 CPU 卸載（CPU Offloading）、PyTorch 2.0 的 SDPA（縮放點積注意力）以及 `torch.compile`，在不犧牲音質的前提下，將 VRAM 佔用降低 50% 以上，並顯著提升生成速度。

摘要由 AI 整理,以原文為準。