本文介紹如何整合 Hugging Face 與開源聯邦學習框架 Flower,實現保護隱私的分散式模型訓練。透過 Flower,開發者可以在不共享原始數據的情況下,協同微調 Hugging Face 上的 Transformer 模型。文中提供具體的實作步驟,包含定義 Flower Client、設定伺服器聚合演算法(如 FedAvg)以及評估模型效能。
Hugging Face 釋出官方指南,詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下,加入額外的控制條件(如邊緣、姿勢或深度)。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調,以及如何將訓練好的模型部署與推論。
Hugging Face 宣布與 Jupyter 生態系深度整合,推出全新的 Notebooks Hub。用戶現在可以直接在 Hugging Face 上瀏覽、搜尋與託管 Jupyter Notebooks。此外,平台提供一鍵啟動功能,讓開發者能直接將 Notebook 導入 Google Colab、Kaggle 或 Paperspace 等雲端環境,大幅降低了運行與測試開源 AI 模型的門檻。
本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應(LoRA)技術,開發者可以在消費級硬體或 Replicate 雲端平台上,以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據,即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力,大幅降低了客製化大語言模型的門檻。
Hugging Face 發表結合 TRL(Transformer 強化學習)與 PEFT(高效參數微調)的新技術。透過 8-bit 量化與 LoRA,大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調,現在只需單張 24GB 消費級 GPU(如 RTX 3090/4090)即可完成,顯著降低開源社群實踐 RLHF 的門檻。
韓國科技巨頭 Kakao 旗下的 AI 研究部門 Kakao Brain,在 Hugging Face 上釋出了全新的 ViT 與 ALIGN 模型。這些模型基於其先前開源的 COYO-700M 超大規模圖文對數據集進行訓練。本次開源不僅補足了 ALIGN 模型缺乏開源權重的遺憾,也為多模態表徵、圖像檢索與零樣本分類等任務提供了強大的新選擇。
Hugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件(如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等)的架構。透過全新的 StableDiffusionControlNetPipeline,開發者只需幾行程式碼即可實現高精度的圖像生成與編輯,大幅提升了 AI 繪圖的可控性。
本案例研究介紹了 Witty Works 如何利用 Hugging Face 的技術加速其寫作助手的開發。Witty Works 旨在幫助企業撰寫具備多元與包容性(D&I)的文本。透過 Hugging Face 的文本分類模型與生態系統,他們能夠快速識別並修正文本中的潛在偏見(如性別、年齡或種族偏見),大幅縮短了模型開發與部署的週期。
本文介紹了大型語言模型(LLM)的「紅隊演練」概念,這是一種源自網路安全、旨在透過模擬對抗性攻擊來找出模型漏洞的方法。文章探討了紅隊演練在防範越獄(jailbreak)、有害輸出及隱私洩漏上的重要性,並分析了手動與自動化紅隊測試的實踐方式與挑戰。這對於開發安全、可靠的 AI 系統至關重要。
Hugging Face 發布全新開源專案 swift-diffusers,專為 Apple 生態系設計。該專案利用 Apple 的 Core ML 技術,讓 Stable Diffusion 模型能在 Mac(Apple Silicon)及 iOS 裝置上發揮極致效能。開發者可藉此輕鬆將 AI 繪圖功能整合至原生 App 中,並享有低記憶體佔用與神經網路引擎(ANE)加速的優勢。
美國知名消費回饋平台 Fetch 過去面臨 AI 工具碎片化與部署流程繁瑣的挑戰。透過在 AWS 上導入 Hugging Face 的解決方案,Fetch 成功統一了其機器學習工作流。這項整合不僅簡化了模型訓練與部署,更為團隊節省了高達 30% 的開發時間,加速了其收據辨識與個人化推薦服務的迭代。
儘管機器學習(ML)的需求爆發,但對於多數軟體工程師而言,部署與運行模型仍面臨極高的技術門檻。現有的 ML 工具鏈過於複雜,開發者常需處理 GPU 設定、CUDA 版本及依賴衝突。Replicate 指出,ML 領域急需如同傳統軟體開發般成熟、易用的基礎設施與工具,才能釋放其真正的應用潛力。
Hugging Face 與 AWS 宣布建立戰略合作夥伴關係,AWS 成為其首選雲端供應商。雙方將深度整合,讓開發者能透過 Amazon SageMaker 輕鬆訓練與部署 Hugging Face 上的超大型 AI 模型。此外,合作也將優化 AWS 自研晶片(Trainium 與 Inferentia)對開源模型的支援,大幅降低企業導入生成式 AI 的成本與門檻。
Mantis NLP 團隊分享了他們將 NLP 模型部署全面轉向 Hugging Face Inference Endpoints 的實戰經驗。相較於傳統自建 AWS SageMaker 或 EC2 基礎設施,Hugging Face 提供極低的維護門檻、靈活的自動縮放(包括縮減至零)以及極具競爭力的價格。這項轉變不僅大幅縮短了產品上線時間,也讓團隊能更專注於模型本身的研發而非繁雜的運維工作。
Hugging Face 宣布正式支援 Salesforce 開源的 BLIP-2 視覺語言模型。BLIP-2 透過輕量化的 Q-Former 橋接現成且凍結的圖像編碼器與大型語言模型(LLM),大幅降低訓練成本。此模型在零樣本圖像描述、視覺問答(VQA)等任務上表現優異,開發者現在可直接透過 Transformers 庫輕鬆調用。
Hugging Face 宣布推出 PEFT(Parameter-Efficient Fine-Tuning)開源庫,旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術,僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體(如單張 24GB 顯示卡)上微調數十億甚至百億參數的模型,並大幅縮小模型權重檔案體積。
Replicate 宣布支援 LoRA 技術,用於快速微調 Stable Diffusion 模型。相比於傳統的 DreamBooth,LoRA 不僅訓練速度大幅提升,產出的權重檔案也極小(僅數十 MB),讓創作者能以極低成本且更有效率地在雲端部署與切換不同的客製化風格。
本教學為 Hugging Face 遊戲開發系列的第五部分,專注於「故事生成」。文章探討如何利用大型語言模型(LLM)來突破傳統遊戲線性敘事的限制,創造出動態、互動性強的遊戲劇情與 NPC 對話。讀者將學習如何透過 Prompt 工程引導模型,並將其整合至 Unity 等遊戲引擎中,實現自動化且具備上下文連貫性的遊戲敘事。
Hugging Face 發表全新的「AI vs. AI」多智能體競賽系統,結合深度強化學習(DRL)與遊戲環境。開發者可將訓練好的智能體上傳至 Hugging Face Hub,系統會自動安排對戰並以 Elo 評分系統進行即時排名。首波活動以 Unity ML-Agents 的足球遊戲展開,旨在推動多智能體強化學習的社群發展。
Hugging Face 釋出的這篇技術指南,深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器,並剖析了對比學習(如 CLIP)、生成式(如 BLIP、GIT)及多模態融合等三大主流預訓練策略。最後,展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型,是理解多模態 AI 的必讀經典。
本文為 Hugging Face 官方發布的電腦視覺(CV)生態總覽。隨著 Transformers 庫對視覺模型的支援、與 Timm 庫的深度整合,以及 Diffusers 在生成式 AI 的爆發,Hugging Face 已從 NLP 平台轉型為全方位的 AI 社群。文章詳細介紹了影像分類、目標檢測、語義分割等任務的支援現狀,並展示了如何利用其工具鏈進行高效開發。
本教學為 Hugging Face 遊戲開發 AI 系列的第四篇,專注於 2D 資產生成。文章深入探討如何利用 Stable Diffusion、DreamBooth 與 Image-to-Image 等技術,克服遊戲開發中「風格一致性」與「精確控制」的挑戰。讀者將學習如何生成無縫貼圖、角色概念圖及 UI 元素,並將其無縫整合至遊戲引擎的工作流中。
本文為 Hugging Face 官方介紹 LoRA(低秩適應)技術在 Stable Diffusion 微調上的應用。LoRA 透過凍結原模型並僅訓練新增的低秩矩陣,將顯存需求降至消費級顯卡即可運行的水平,且產出的權重檔案僅有數 MB(相較於完整微調的數 GB),極大地降低了個性化圖像生成模型的訓練門檻與分享成本。
Hugging Face 介紹了 Optimum 庫與 ONNX Runtime (ORT) 的整合,為開發者提供更高效的訓練解決方案。透過將標準的 Trainer 替換為 ORTTrainer,開發者可以輕鬆啟用 ORT 的圖優化與記憶體管理技術。此方案在不犧牲模型精度的前提下,能顯著提升訓練吞吐量(通常可達 20%-40%)並降低 GPU 顯存佔用。
本文為 Hugging Face 遊戲開發 AI 系列的第三篇,專注於「3D 資產生成」。文章探討了從傳統 3D 建模的痛點出發,介紹如何利用神經輻射場(NeRF)進行 3D 重建,以及使用 OpenAI Point-E、DreamFusion 等最新 AI 模型進行文字/圖像轉 3D。最後說明如何將這些 AI 生成的 3D 模型導入 Blender、Unity 或 Unreal Engine 等主流遊戲引擎,為獨立開發者與美術設計師提供全新的工作流。
Hugging Face 官方宣佈與百度的開源深度學習平台 PaddlePaddle(飛槳)達成合作,正式將其引入 Hugging Face Hub 生態系。開發者現在可以直接在 Hub 上分享、探索和下載 PaddlePaddle 的模型。這項整合進一步擴大了 Hugging Face 的多框架支援版圖,為全球開發者提供更豐富的開源模型選擇,特別是在中文 NLP 和 OCR 等 PaddlePaddle 強勢的領域。
本文是 Hugging Face 挑戰「5 天內用 AI 製作農場遊戲」的第二部分,重點在於 3D 資產的生成。作者探討了 2023 年初 3D AI 技術的現狀,實測利用 OpenAI 的 Point-E 進行文字生成 3D 點雲與網格,並嘗試用 Stable Diffusion 進行 3D 貼圖。雖然當時技術仍有網格混亂、缺乏 UV 貼圖等限制,但為獨立遊戲開發者展示了 AI 輔助 3D 工作流的雛形。
Hugging Face 發布圖形機器學習(Graph ML)入門教學,介紹如何處理非歐幾里得空間的圖形數據。文章涵蓋節點分類、邊界預測與整圖分類三大核心任務,並解釋圖神經網路(GNN)如何透過「訊息傳遞」機制聚合鄰近節點資訊。這項技術在社群網路分析、藥物研發與推薦系統中扮演關鍵角色。
Hugging Face 詳細介紹了「Model Cards(模型卡)」的概念與實作方法。作為模型倉庫的 README.md,Model Cards 不僅記錄了模型的預期用途、限制、訓練數據與評估結果,還透過 YAML 元數據實現結構化搜尋。這項工具旨在推動開源 AI 社群的透明度與可解釋性,是實踐負責任 AI(Responsible AI)不可或缺的基礎文檔。
Hugging Face 發布 Habana Gaudi2 與 Nvidia A100 80GB 的基準測試對比。結果顯示,Gaudi2 在 BERT 和 T5 等主流模型的訓練速度上比 A100 快上近兩倍。透過 optimum-habana 庫,開發者只需修改極少程式碼即可無縫轉移,為 Nvidia 晶片短缺與高成本提供了強力的替代方案。