Speculative Decoding for 2x Faster Whisper Inference

Hugging Face 推出 Whisper 投機解碼技術，利用輕量輔助模型加速，可在不損失精度的情況下將語音轉文字推論速度提升 2 倍。

Hugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。

摘要由 AI 整理,以原文為準。