Hugging Face 正式在 NPM 發布 Transformers.js v4。此版本帶來大幅度的 WebGPU 效能提升,支援更多最新的輕量化開源模型(如 Llama 3.2、Qwen 2.5 等),並優化了與 Vite、Next.js 等現代前端工具鏈的整合,讓開發者能輕鬆打造隱私安全、低延遲且完全在用戶端運行的 AI 應用。
Replicate 發表最新技術週報,重點包括:1. 介紹如何透過稀疏自編碼器(SAE)在 GPT 模型中定位與提取特定概念;2. 展示利用瀏覽器進行低延遲、隱私安全的即時語音轉文字技術;3. 宣布 Replicate 平台即將迎來 NVIDIA H100 GPU,大幅提升開源模型推理與微調的速度。
本文探討如何使用 Hugging Face 的 Transformers.js 庫,直接在瀏覽器中運行機器學習模型來開發網頁遊戲。透過 ONNX Runtime Web 與 WebGPU 加速,開發者能實現語音控制、智慧 NPC 對話及視覺辨識等功能。這種客戶端運算模式不僅能實現零伺服器成本,還能保障玩家隱私並降低網路延遲。