本文介紹如何使用 Hugging Face 專為 Unity 開發者設計的開源 API 套件,在遊戲中輕鬆整合 AI 語音辨識(ASR)功能。透過該套件,開發者可以直接調用 Hugging Face Inference API(如 OpenAI 的 Whisper 模型),將玩家的麥克風錄音即時轉換為文字。這為遊戲內語音指令、與 NPC 的語音對話等互動機制提供了極低門檻的實現路徑,且無需在本地運行龐大的深度學習模型。
Hugging Face 推出官方 Unity API 套件,讓遊戲開發者能直接在 Unity 專案中調用 Hugging Face Hub 上的數千個 AI 模型。本文詳細介紹如何透過 Unity Package Manager 進行安裝,並展示如何設定 API 金鑰以啟用文本生成、語音識別及圖像生成等功能。這為獨立遊戲開發者開闢了將生成式 AI 融入遊戲機制的新途徑。
Hugging Face 官方發布教學,指導開發者如何將 Unity 遊戲部署至 Hugging Face Spaces。透過將 Unity 專案匯出為 WebGL 格式,並利用 Spaces 的 Docker 或靜態網頁託管功能,開發者可以輕鬆在平台上展示結合 AI 技術的互動式 3D 遊戲與 Demo,促進 AI 與遊戲開發的結合。
本文是 Hugging Face 挑戰「5 天內用 AI 製作農場遊戲」的第二部分,重點在於 3D 資產的生成。作者探討了 2023 年初 3D AI 技術的現狀,實測利用 OpenAI 的 Point-E 進行文字生成 3D 點雲與網格,並嘗試用 Stable Diffusion 進行 3D 貼圖。雖然當時技術仍有網格混亂、缺乏 UV 貼圖等限制,但為獨立遊戲開發者展示了 AI 輔助 3D 工作流的雛形。
本教學為 Hugging Face 遊戲開發系列的第一部分,記錄了如何利用 AI 技術在 5 天內開發出一款農場模擬遊戲。文章重點介紹了開發初期的規劃、如何利用 Stable Diffusion 生成像素風(Pixel Art)美術資產,以及如何藉由 AI 輔助編寫 Unity 遊戲腳本,展示了 AI 如何大幅降低獨立遊戲開發的門檻。
Hugging Face 推出其首個 Unity ML-Agents 虛擬環境「Snowball Fight」(打雪仗)。此環境旨在提供一個趣味且具挑戰性的平台,讓開發者與研究人員能夠訓練、測試並分享他們的深度強化學習(DRL)模型。使用者可以利用 Unity ML-Agents 工具包進行訓練,並將訓練好的 Agent 模型上傳至 Hugging Face Hub 進行交流與對戰。