本文介紹如何在 Arm 架構硬體(如筆電、手機及邊緣設備)上運行即時 AI 聲音生成模型。透過 Hugging Face 與 Arm 的技術優化,創作者現在能以極低延遲在本地端生成音效,無需依賴昂貴的雲端 GPU。這項突破不僅提升了創作隱私,也為離線互動式媒體與遊戲開發開闢了新路徑。
Hugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small(約 5.11 億參數)與 SD-Tiny(約 3.23 億參數)的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數,這些模型在保留高圖像質量的同時,實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻,也讓開發者能自行蒸餾客製化的 SD 模型。