Hugging Face Hub 正式整合 Meta 開源的經典 NLP 工具 fastText。現在開發者可以直接在 Hub 上託管、版本控制並分享 fastText 模型(.bin 格式)。此外,官方也上架了支援 157 種語言的預訓練詞向量與語言識別模型,並支援線上推理 API,大幅降低了輕量級 NLP 應用的部署與使用門檻。
阿布達比技術創新研究所(TII)推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅,並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Vercel 發表專文介紹其「虛擬產品導覽(Virtual Product Tour)」的設計與開發幕後。團隊詳細拆解了如何利用 React Three Fiber、Framer Motion 等前端技術,在網頁上實現兼具高畫質 3D 視覺與流暢互動的引導體驗。這篇案例研究為追求極致網頁體驗的前端開發者與 UI/UX 設計師提供了寶貴的實踐指南。
本文介紹如何使用 Hugging Face 專為 Unity 開發者設計的開源 API 套件,在遊戲中輕鬆整合 AI 語音辨識(ASR)功能。透過該套件,開發者可以直接調用 Hugging Face Inference API(如 OpenAI 的 Whisper 模型),將玩家的麥克風錄音即時轉換為文字。這為遊戲內語音指令、與 NPC 的語音對話等互動機制提供了極低門檻的實現路徑,且無需在本地運行龐大的深度學習模型。
Hugging Face 宣布舉辦「Open Source AI Game Jam」,邀請全球開發者在限定時間內,利用開源 AI 工具與模型(如 Hugging Face 上的各類模型)來創作遊戲。此活動旨在探索 AI 在遊戲開發(如美術生成、NPC 對話、音效等)的實際應用,並促進遊戲與 AI 社群的跨界交流。
熱門主題模型工具 BERTopic 宣布與 Hugging Face Hub 達成深度整合。開發者現在可以使用簡單的 API,將訓練好的 BERTopic 模型直接推送到 Hub 上,並能隨時在其他環境中輕鬆載入。此整合不僅簡化了主題模型的分享、部署與版本控制,還會自動生成包含主題資訊的模型卡片(Model Cards),讓 NLP 社群能更方便地進行協作與模型重用。
Hugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器(DLC),用於部署大型語言模型(LLM)。該容器整合了 Text Generation Inference (TGI) 技術,支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量,在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
React 迎來開源 10 週年!Vercel 撰文回顧 React 自 2013 年問世以來的發展。從最初 JSX 語法備受社群質疑,到如今成為全球前端開發的絕對標準,React 徹底改變了 UI 開發範式。近年 Vercel 與 React 團隊緊密合作,共同推動 React Server Components (RSC),將網頁效能與開發體驗推向新高度,持續引領下一個世代的網頁開發。
Replicate 釋出技術教學,指出除了 Prompt 工程和微調之外,控制 LLM 輸出的另一種強大方法是「約束解碼(Constrained Decoding)」。透過在模型預測下一個 Token 時,利用自定義的 Logits Processor 修改機率分佈(Logits),可以強制模型 100% 遵守特定的押韻格式與音節限制。這種方法能讓任何開源 LLM 寫出結構完美的詩歌,且完全不需要重新訓練。
本文介紹 Hugging Face 與 Intel 合作的優化方案。透過 Optimum Intel 與神經網路壓縮框架(NNCF),開發者可以輕鬆對 Stable Diffusion 進行訓練後量化(PTQ)。這項技術能將模型壓縮至 INT8 精度,在顯著降低記憶體佔用的同時,大幅加速 Intel CPU 上的圖像生成速度,且幾乎不損失圖像品質。
Hugging Face 宣布與 bitsandbytes 合作,將 4-bit 量化技術直接整合至 Transformers 庫中,並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器,大幅降低顯存需求,使 65B 參數模型能在單張 48GB GPU 上進行微調,且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Hugging Face 宣布與微軟 Azure 展開深度合作,於 Azure 機器學習平台推出 Hugging Face Model Catalog。這項整合讓開發者能直接在 Azure 安全且合規的基礎設施中,一鍵部署與微調數萬個 Hugging Face 的開源模型。此舉大幅降低了企業採用開源 AI 技術的門檻,並強化了 Azure 的開源生態系。
Hugging Face 介紹了如何利用 InstructPix2Pix 對 Stable Diffusion 進行指令微調(Instruction-tuning)。該方法結合了 GPT-3 生成的編輯指令與 Stable Diffusion 生成的成對圖像,訓練出能理解「將蘋果換成橘子」等指令的圖像編輯模型。文章提供了完整的訓練流程、Diffusers 程式碼範例以及優化技巧,幫助開發者輕鬆上手圖像編輯任務。
Hugging Face 宣布其開發的 Safetensors 格式已成功通過專業安全公司 Trail of Bits 的審計,確認其安全性。相較於傳統具有任意程式碼執行風險的 Pickle 格式,Safetensors 不僅安全,還具備極速載入(Zero-copy)的優勢。Hugging Face 已正式將其設為平台上的預設模型儲存格式,推動開源 AI 社群邁向更安全的生態。
Hugging Face 與 IBM 宣布建立合作夥伴關係,將 Hugging Face 的開源 AI 模型與工具整合至 IBM 全新的 watsonx.ai 平台。此合作旨在為企業提供安全、合規且靈活的 AI 開發環境,讓企業開發者能輕鬆運用開源社群的數千個模型,並結合 IBM 的企業級技術進行微調與部署。
Vercel 推出新功能,允許開發者將 Remix 網頁框架的會話儲存(Session Storage)與 Vercel KV 資料庫進行整合。透過此整合,開發者可以輕鬆地將使用者會話資料持久化於分散式的 Redis 相容資料庫中,解決傳統 Cookie 儲存的大小限制,並提升 Serverless 環境下的會話管理效率與安全性。
AI 模型託管平台 Replicate 宣布推出官方狀態頁面(Status Page)。該頁面旨在提供平台服務健康狀況的即時更新,幫助開發者隨時掌握 API 與模型運行狀態。這將有助於使用 Replicate 服務的開發者在遇到連線或推論問題時,能第一時間確認是否為平台端故障。
Vercel 宣布與 Headless CMS 平台 Sanity 展開深度合作,共同推出「視覺化編輯(Visual Editing)」技術。此功能讓團隊成員能直接在 Vercel 的預覽網頁上點擊任意元素,並直接跳轉至 Sanity 後台對應的欄位進行修改。這項整合大幅消除了開發者與內容創作者之間的溝通隔閡,開創了更快速、更直觀的網頁協作新時代。
Hugging Face 介紹了與 Intel 合作的 Q8-Chat 專案,展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術,將模型進行 8-bit (INT8) 量化,大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術,證明無需昂貴的 GPU,利用現有 CPU 架構也能部署低延遲的聊天機器人。
在訓練程式碼大語言模型(如 StarCoder)時,重複資料會嚴重影響模型效能。本文詳細介紹了 BigCode 專案如何利用 MinHash 和局部敏感雜湊(LSH)進行大規模的「近乎重複資料刪除(Near-deduplication)」。透過開源工具 `text-dedup`,BigCode 團隊成功處理了數 TB 的程式碼數據,不僅大幅減少了訓練資料量,還顯著降低了模型對特定程式碼的記憶效應,提升了泛化能力。
Hugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構,它在訓練時能像 Transformer 一樣進行並行化計算,但在推論時則展現出 RNN 的特性,具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。
法國資料保護監管機構 CNIL 宣布將 Hugging Face 納入其「加強支援計劃」。該計劃旨在協助具備系統重要性的數位創新企業符合 GDPR 規範。雙方將密切合作,針對開源 AI 模型訓練、數據集隱私及開源社群的合規性,共同探索並建立具體的最佳實踐指南。
Hugging Face 釋出指南,介紹如何使用 AMD ROCm 軟體棧在單一 AMD GPU 上運行開源大型語言模型。透過 PyTorch 與 Hugging Face 函式庫的整合,開發者與研究人員可以擺脫對 NVIDIA CUDA 的單一依賴,在 AMD 硬體上實現高效能的 AI 聊天機器人部署,並搭配 Gradio 建立互動介面。
Vercel 宣布為其 Serverless 與 Edge Functions 推出「自動遞迴保護」功能。此機制會自動偵測函數之間因錯誤配置或邏輯漏洞導致的無限循環呼叫。一旦偵測到遞迴,系統將自動阻斷請求並回傳 508 Loop Detected 狀態碼,有效防止開發者因程式碼無窮迴圈而面臨天價帳單,此功能已預設啟用。
Hugging Face 發表「輔助生成(Assisted Generation)」技術(即投機解碼),旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token,再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下,能將生成速度提升高達 2 至 3 倍,為低延遲文本生成開闢了新路徑。
Vercel 是一個「前端雲端平台(Frontend Cloud)」,旨在簡化 Web 應用程式的部署與維護流程。它與 GitHub 等版本控制系統深度整合,實現 Git-push 即部署。除了作為 Next.js 的母公司,Vercel 還提供全球 Edge 網路、Serverless 函數、即時預覽(Preview Deployments)以及強大的 AI SDK,幫助開發者與團隊快速構建高效能、具備 AI 能力的現代網頁應用。
Hugging Face 發表 StarChat Alpha,這是一個基於 15B 參數 StarCoder 基礎模型進行指令微調的對話式程式助手。透過特定的對話模板與微調資料集,StarCoder 從單純的程式碼補全工具升級為能進行多輪對話的 AI 助手。本篇介紹了其訓練細節、對話格式以及如何在 Hugging Face Spaces 上進行體驗。
本文由 Hugging Face 撰寫,深入剖析文字生成影片(Text-to-Video)模型的底層原理,包含如何將 2D 擴散模型擴展至 3D 時間維度。文章介紹了當時主流的開源模型(如 ModelScope),並提供使用 diffusers 函式庫進行實作的程式碼範例,是理解早期開源 AI 影片生成技術的經典指南。
Vercel 發表「前端雲端身分驗證」解決方案,旨在解決 Web 開發中最繁瑣的安全驗證問題。透過與 Clerk、Kinde、Auth0 等主流服務深度整合,並結合 Vercel Edge Middleware,開發者能以極低延遲在邊緣端完成路由保護。同時,Vercel 也持續推廣開源的 Auth.js(前身為 NextAuth.js),為 Next.js 生態系提供無縫的登入體驗。
Vercel 宣布提升對 Nuxt (Vue.js 生態系的 SSR 框架) 的原生支援。本次更新帶來了更緊密的 Nitro 引擎整合,讓開發者在 Vercel 上部署 Nuxt 專案時,能享有更快的冷啟動速度、自動化的 Edge Functions 配置,以及更簡單的零配置部署體驗,大幅優化 Vue 開發者的工作流。