近期有民眾利用 AI 技術,將美國國家運輸安全委員會(NTSB)公開的駕駛艙錄音「聲學頻譜圖(Spectrogram)」影像,成功逆向還原出已故飛行員的生前語音。由於駕駛艙語音記錄(CVR)涉及高度隱私,過去僅公開文字逐字稿,如今 AI 的還原能力打破了這項保護機制。為防止隱私進一步洩漏,NTSB 已緊急暫時關閉其公開案件卷宗系統。
Google DeepMind 宣布 Gemini 2.5 在 AI 語音對話與音訊生成上取得重大突破。新功能大幅提升了語音互動的流暢度、自然度與即時性,並支援更進階的音訊生成技術。這項更新將為開發者與企業帶來更具沉浸感的語音應用與全新一代的語音 Agent 體驗。
本文介紹如何在 Arm 架構硬體(如筆電、手機及邊緣設備)上運行即時 AI 聲音生成模型。透過 Hugging Face 與 Arm 的技術優化,創作者現在能以極低延遲在本地端生成音效,無需依賴昂貴的雲端 GPU。這項突破不僅提升了創作隱私,也為離線互動式媒體與遊戲開發開闢了新路徑。
Bark 是 Suno 推出基於 Transformer 的文字轉語音(TTS)與音訊生成模型。由於其包含多個子模型,推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術,包括啟用半精度(fp16)、智慧 CPU 卸載(CPU Offloading)、PyTorch 2.0 的 SDPA(縮放點積注意力)以及 `torch.compile`,在不犧牲音質的前提下,將 VRAM 佔用降低 50% 以上,並顯著提升生成速度。