Hugging Face 宣布舉辦「Open Source AI Game Jam」,邀請全球開發者在限定時間內,利用開源 AI 工具與模型(如 Hugging Face 上的各類模型)來創作遊戲。此活動旨在探索 AI 在遊戲開發(如美術生成、NPC 對話、音效等)的實際應用,並促進遊戲與 AI 社群的跨界交流。
Hugging Face 推出官方 Unity API 套件,讓遊戲開發者能直接在 Unity 專案中調用 Hugging Face Hub 上的數千個 AI 模型。本文詳細介紹如何透過 Unity Package Manager 進行安裝,並展示如何設定 API 金鑰以啟用文本生成、語音識別及圖像生成等功能。這為獨立遊戲開發者開闢了將生成式 AI 融入遊戲機制的新途徑。
Hugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件(如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等)的架構。透過全新的 StableDiffusionControlNetPipeline,開發者只需幾行程式碼即可實現高精度的圖像生成與編輯,大幅提升了 AI 繪圖的可控性。
Hugging Face 發布全新開源專案 swift-diffusers,專為 Apple 生態系設計。該專案利用 Apple 的 Core ML 技術,讓 Stable Diffusion 模型能在 Mac(Apple Silicon)及 iOS 裝置上發揮極致效能。開發者可藉此輕鬆將 AI 繪圖功能整合至原生 App 中,並享有低記憶體佔用與神經網路引擎(ANE)加速的優勢。
Replicate 宣布支援 LoRA 技術,用於快速微調 Stable Diffusion 模型。相比於傳統的 DreamBooth,LoRA 不僅訓練速度大幅提升,產出的權重檔案也極小(僅數十 MB),讓創作者能以極低成本且更有效率地在雲端部署與切換不同的客製化風格。
本教學為 Hugging Face 遊戲開發系列的第五部分,專注於「故事生成」。文章探討如何利用大型語言模型(LLM)來突破傳統遊戲線性敘事的限制,創造出動態、互動性強的遊戲劇情與 NPC 對話。讀者將學習如何透過 Prompt 工程引導模型,並將其整合至 Unity 等遊戲引擎中,實現自動化且具備上下文連貫性的遊戲敘事。
本文為 Hugging Face 官方介紹 LoRA(低秩適應)技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣,將顯存需求降至消費級顯卡即可運行的水平,且產出的權重檔案僅有數 MB(相較於完整微調的數 GB),極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
本教學為 Hugging Face 遊戲開發 AI 系列的第四篇,專注於 2D 資產生成。文章深入探討如何利用 Stable Diffusion、DreamBooth 與 Image-to-Image 等技術,克服遊戲開發中「風格一致性」與「精確控制」的挑戰。讀者將學習如何生成無縫貼圖、角色概念圖及 UI 元素,並將其無縫整合至遊戲引擎的工作流中。
本文為 Hugging Face 遊戲開發 AI 系列的第三篇,專注於「3D 資產生成」。文章探討了從傳統 3D 建模的痛點出發,介紹如何利用神經輻射場(NeRF)進行 3D 重建,以及使用 OpenAI Point-E、DreamFusion 等最新 AI 模型進行文字/圖像轉 3D。最後說明如何將這些 AI 生成的 3D 模型導入 Blender、Unity 或 Unreal Engine 等主流遊戲引擎,為獨立開發者與美術設計師提供全新的工作流。
本文是 Hugging Face 挑戰「5 天內用 AI 製作農場遊戲」的第二部分,重點在於 3D 資產的生成。作者探討了 2023 年初 3D AI 技術的現狀,實測利用 OpenAI 的 Point-E 進行文字生成 3D 點雲與網格,並嘗試用 Stable Diffusion 進行 3D 貼圖。雖然當時技術仍有網格混亂、缺乏 UV 貼圖等限制,但為獨立遊戲開發者展示了 AI 輔助 3D 工作流的雛形。
本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫,開發者與創作者只需提供 3 到 5 張特定主體的照片,即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失(Prior Preservation Loss)的重要性,以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Stability AI 於 2022 年 10 月推出了「Japanese Stable Diffusion」模型。該模型專為日語語境進行優化,解決了先前英文版 Stable Diffusion 難以精確理解日語輸入與日本文化細節的問題。用戶可以直接使用日語進行 Prompt 創作,生成更符合日本審美與文化背景的圖像,並已開源託管於 Hugging Face。