Google DeepMind 發表全新語音模型 Gemini 3.1 Flash TTS。該模型引入了「細粒度音訊標籤」(granular audio tags),讓開發者與創作者能夠精確引導 AI 語音的生成細節。這項技術大幅提升了 AI 語音的表現力與可控性,為下一代語音互動與內容創作奠定基礎。
Hugging Face 發表全新語音模型評測平台「TTS Arena」。該平台借鑑了 LMSYS Chatbot Arena 的群眾外包盲測機制,讓使用者聆聽兩段由不同匿名 TTS 模型生成的語音並進行投票。透過 Elo 評分系統,TTS Arena 旨在解決傳統客觀指標無法準確反映人類聽覺偏好的痛點,建立一個客觀且動態的語音合成模型排行榜。
Bark 是 Suno 推出基於 Transformer 的文字轉語音(TTS)與音訊生成模型。由於其包含多個子模型,推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術,包括啟用半精度(fp16)、智慧 CPU 卸載(CPU Offloading)、PyTorch 2.0 的 SDPA(縮放點積注意力)以及 `torch.compile`,在不犧牲音質的前提下,將 VRAM 佔用降低 50% 以上,並顯著提升生成速度。
Microsoft 開源的 SpeechT5 模型正式整合至 Hugging Face Transformers。該模型採用統一的編碼器-解碼器架構,能同時處理語音轉文字(ASR)、文字轉語音(TTS)和語音對語音(如聲音轉換)等多種任務。開發者現在可以透過簡單的 Transformers API,輕鬆實現高質量的多模態語音應用。