Adding Benchmaxxer Repellant to the Open ASR Leaderboard★ 75
Hugging Face Blog27d agoReleaseHugging Face 宣布為其 Open ASR（自動語音識別）排行榜引入「Benchmaxxer 驅逐劑」。此舉旨在解決模型開發者針對公開基準測試集進行過度優化（即「刷榜」）的問題。通過引入未公開的私有評估數據集，該排行榜將能更真實地反映 ASR 模型在實際應用中的泛化能力，防止虛高的排名誤導社群。
Open ASR Leaderboard: Trends and Insights with New Multilingual & Long-Form Tracks★ 75
Hugging Face Blog193d agoReleaseHugging Face 宣布升級其 Open ASR Leaderboard，正式引入「多語言」與「長音訊」兩大全新評測賽道。這項更新解決了過去 ASR 評測過於依賴短英文語音的痛點。新賽道不僅能更客觀地評估模型在全球多語系環境下的實用性，還能考驗模型在處理會議、播客等長篇語音時的幻覺控制與分段對齊能力，為開源語音社群提供更具實戰價值的參考基準。
Powerful ASR + diarization + speculative decoding with Hugging Face Inference Endpoints★ 75
Hugging Face Blog762d agoTutorialHugging Face 介紹了如何在 Inference Endpoints 上整合自動語音辨識（ASR）與語者辨識（Diarization）。透過結合 Whisper 與 PyAnnote 模型，並導入投機解碼（Speculative Decoding）技術，大幅提升了語音轉文字的推理速度與精準度。此方案為開發者提供了一個開箱即用、具備高擴展性的生產級語音處理管線。
Fine-Tune W2V2-Bert for low-resource ASR with 🤗 Transformers★ 75
Hugging Face Blog865d agoTutorialHugging Face 發布技術指南，詳細說明如何利用 W2V2-BERT 進行低資源語言的自動語音辨識（ASR）微調。W2V2-BERT 結合了 Wav2Vec 2.0 與 BERT 的優勢，特別適合訓練樣本稀缺的語言。本教學涵蓋了從數據準備、特徵提取、CTC 模型配置到使用 Trainer API 進行訓練與評估的完整實作流程。
Fine-Tune MMS Adapter Models for low-resource ASR★ 70
Hugging Face Blog1079d agoTutorialMeta 的 MMS（大規模多語言語音）模型支援超千種語言。Hugging Face 官方部落格詳細教學如何透過「轉接器（Adapter）」技術，在凍結基礎模型的前提下僅微調極少參數。這項技術非常適合預算有限、缺乏運算資源或資料量極少的「低資源語言」語音辨識（ASR）任務，能大幅降低訓練成本並避免過擬合。
AI Speech Recognition in Unity
Hugging Face Blog1096d agoTutorial本文介紹如何使用 Hugging Face 專為 Unity 開發者設計的開源 API 套件，在遊戲中輕鬆整合 AI 語音辨識（ASR）功能。透過該套件，開發者可以直接調用 Hugging Face Inference API（如 OpenAI 的 Whisper 模型），將玩家的麥克風錄音即時轉換為文字。這為遊戲內語音指令、與 NPC 的語音對話等互動機制提供了極低門檻的實現路徑，且無需在本地運行龐大的深度學習模型。
Speech Synthesis, Recognition, and More With SpeechT5★ 75
Hugging Face Blog1210d agoReleaseMicrosoft 開源的 SpeechT5 模型正式整合至 Hugging Face Transformers。該模型採用統一的編碼器-解碼器架構，能同時處理語音轉文字（ASR）、文字轉語音（TTS）和語音對語音（如聲音轉換）等多種任務。開發者現在可以透過簡單的 Transformers API，輕鬆實現高質量的多模態語音應用。
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers★ 80
Hugging Face Blog1307d agoTutorial本教學詳細介紹如何使用 Hugging Face 的 `transformers` 庫微調 OpenAI 的 Whisper 語音辨識模型。內容涵蓋從載入 Common Voice 資料集、音訊預處理（重採樣至 16kHz 並轉換為 Log-Mel 聲譜圖）、設定 Tokenizer，到使用 `Seq2SeqTrainer` 進行訓練與評估（以 WER 為指標）的完整流程。這對於想在特定低資源語言或專業領域提升語音轉文字精準度的開發者與研究人員來說，是極具價值的實戰指南。
Making automatic speech recognition work on large files with Wav2Vec2 in 🤗 Transformers
Hugging Face Blog1582d agoTutorial傳統 Wav2Vec2 等語音模型因自注意力機制的記憶體複雜度限制，難以直接處理長音檔。Hugging Face 推出分塊（Chunking）與重疊步長（Stride）技術，將長音訊切片處理後無縫拼接。此功能已整合至 Transformers 的 ASR Pipeline 中，開發者只需設定簡單參數即可實現高效且精準的長語音轉文字。
Boosting Wav2Vec2 with n-grams in 🤗 Transformers
Hugging Face Blog1602d agoTutorialHugging Face 推出整合 pyctcdecode 的新功能，讓開發者能輕鬆將 n-gram 語言模型與 Wav2Vec2 結合。 此方法能有效修正 Wav2Vec2 在 CTC 解碼時產生的拼寫錯誤，顯著降低語音識別的字錯率（WER）。 本指南提供完整的實作步驟，展示如何載入預訓練語言模型並應用於多語系的語音識別任務。
Fine-Tune XLSR-Wav2Vec2 for low-resource ASR with 🤗 Transformers
Hugging Face Blog1660d agoTutorial本教學詳細介紹如何利用 Hugging Face Transformers 庫，針對缺乏訓練數據的低資源語言微調 Meta 的 XLSR-Wav2Vec2 語音模型。內容涵蓋從 Common Voice 數據集下載、音訊預處理、建立專屬 Tokenizer，到使用 CTC 損失函數進行模型訓練的完整工作流。對於想在特定方言或少數語言上實現高精度語音辨識（ASR）的開發者與研究人員，這是極具價值的實戰指南。
Fine-Tune Wav2Vec2 for English ASR in Hugging Face with 🤗 Transformers★ 70
Hugging Face Blog1908d agoTutorial本指南詳細介紹如何利用 🤗 Transformers 與 Datasets 庫微調 Meta 的 Wav2Vec2 模型以進行英文語音辨識（ASR）。教學涵蓋了語音數據預處理（重採樣至 16kHz）、使用 CTC 損失函數、配置 Wav2Vec2Processor，以及使用 Trainer API 進行模型訓練與字錯率（WER）評估，是語音 AI 領域的經典必讀教學。