Hugging Face Selected for the French Data Protection Agency Enhanced Support Program
Hugging Face Blog1116d agoBusiness法國資料保護監管機構 CNIL 宣布將 Hugging Face 納入其「加強支援計劃」。該計劃旨在協助具備系統重要性的數位創新企業符合 GDPR 規範。雙方將密切合作，針對開源 AI 模型訓練、數據集隱私及開源社群的合規性，共同探索並建立具體的最佳實踐指南。
Run a Chatgpt-like Chatbot on a Single GPU with ROCm
Hugging Face Blog1116d agoTutorialHugging Face 釋出指南，介紹如何使用 AMD ROCm 軟體棧在單一 AMD GPU 上運行開源大型語言模型。透過 PyTorch 與 Hugging Face 函式庫的整合，開發者與研究人員可以擺脫對 NVIDIA CUDA 的單一依賴，在 AMD 硬體上實現高效能的 AI 聊天機器人部署，並搭配 Gradio 建立互動介面。
Introducing RWKV - An RNN with the advantages of a transformer★ 75
Hugging Face Blog1116d agoReleaseHugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構，它在訓練時能像 Transformer 一樣進行並行化計算，但在推論時則展現出 RNN 的特性，具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1120d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Creating a Coding Assistant with StarCoder
Hugging Face Blog1122d agoReleaseHugging Face 發表 StarChat Alpha，這是一個基於 15B 參數 StarCoder 基礎模型進行指令微調的對話式程式助手。透過特定的對話模板與微調資料集，StarCoder 從單純的程式碼補全工具升級為能進行多輪對話的 AI 助手。本篇介紹了其訓練細節、對話格式以及如何在 Hugging Face Spaces 上進行體驗。
A Dive into Text-to-Video Models
Hugging Face Blog1123d agoTutorial本文由 Hugging Face 撰寫，深入剖析文字生成影片（Text-to-Video）模型的底層原理，包含如何將 2D 擴散模型擴展至 3D 時間維度。文章介紹了當時主流的開源模型（如 ModelScope），並提供使用 diffusers 函式庫進行實作的程式碼範例，是理解早期開源 AI 影片生成技術的經典指南。
StarCoder: A State-of-the-Art LLM for Code★ 85
Hugging Face Blog1127d agoReleaseHugging Face 與 ServiceNow 發起的 BigCode 專案正式推出 StarCoder，這是一款擁有 155 億參數的開源程式碼大語言模型。該模型在 The Stack 數據集上訓練，支援 80 多種程式語言，並具備 8K 上下文視窗與 Multi-Query Attention 技術。StarCoder 在多項程式碼基準測試中超越了當時的其他開源模型，並採用 OpenRAIL-M 授權，允許商業化使用。
Training a language model with 🤗 Transformers using TensorFlow and TPUs★ 70
Hugging Face Blog1134d agoTutorial本指南詳細說明如何利用 TensorFlow 和 Google TPU 來加速 Hugging Face Transformers 模型的訓練。內容涵蓋 TPU 的初始化設定、使用 tf.distribute.TPUStrategy 配置分散式訓練環境、利用 tf.data 建立高效的數據輸入管道，並在 TPU 範疇內載入與訓練模型，非常適合需要處理大規模 NLP 任務的開發者。
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models★ 70
Hugging Face Blog1135d agoBusinessDatabricks 與 Hugging Face 宣布深度合作，針對大型語言模型（LLM）的訓練與微調進行優化。透過將 Hugging Face Transformers 與 Databricks 平台（如 MLflow、TorchDistributor）整合，企業能在安全的湖倉一體架構中更高效地訓練開源模型。測試顯示，此優化方案可將訓練速度提升高達 40%，大幅降低運算成本。
Running IF with 🧨 diffusers on a Free Tier Google Colab
Hugging Face Blog1135d agoTutorialDeepFloyd IF 是一款強大的像素級文字生成圖像模型，因包含龐大的 T5-XXL 文字編碼器，通常需要極高 VRAM 才能運行。Hugging Face 官方發布教學，展示如何透過 `diffusers` 庫的優化技術——包括 8-bit 量化、CPU 卸載（CPU Offloading）以及分階段釋放記憶體，讓開發者能在僅有 15GB VRAM 的免費版 Google Colab（T4 GPU）上，順利跑完該模型的三個級聯階段，生成 1024x1024 的高解析度影像。
Introducing HuggingFace blog for Chinese speakers: Fostering Collaboration with the Chinese AI community
Hugging Face Blog1137d agoReleaseHugging Face 官方宣布正式啟用中文部落格，為中文讀者提供第一手的技術文章與社群動態。此舉旨在打破語言壁壘，進一步促進開源 AI 技術在中文開發者與研究者社群中的傳播。未來將透過該平台分享更多關於模型、數據集以及開源生態的中文優質內容。
How to host a Unity game in a Space
Hugging Face Blog1140d agoTutorialHugging Face 官方發布教學，指導開發者如何將 Unity 遊戲部署至 Hugging Face Spaces。透過將 Unity 專案匯出為 WebGL 格式，並利用 Spaces 的 Docker 或靜態網頁託管功能，開發者可以輕鬆在平台上展示結合 AI 技術的互動式 3D 遊戲與 Demo，促進 AI 與遊戲開發的結合。
Language model roundup, April 2023
Replicate Blog1140d agoReleaseReplicate 發布了 2023 年 4 月的開源語言模型（LLM）彙整報告。文章介紹了當時快速崛起的開源模型，包括基於 LLaMA 微調的 Vicuna、首款可商用的 Dolly v2，以及 Stability AI 推出的 StableLM。讀者可以透過 Replicate 的雲端 API 輕鬆部署與測試這些模型，大幅降低了開發者使用開源大模型的門檻與硬體成本。
AutoCog — Generate Cog configuration with GPT-4
Replicate Blog1142d agoNew ToolReplicate 推出新工具 AutoCog，旨在簡化機器學習模型的打包流程。使用者只需提供含有模型程式碼的目錄，AutoCog 就能利用 GPT-4 自動編寫並修正 predict.py 和 cog.yaml。它會透過「執行、報錯、修正」的循環，直到模型能順利執行預測，大幅降低將模型部署至 Replicate 或 Docker 容器的門檻。
Accelerating Hugging Face Transformers with AWS Inferentia2★ 70
Hugging Face Blog1144d agoReleaseHugging Face 與 AWS 合作，透過 optimum-neuron 工具套件，簡化了在 AWS Inferentia2 (Inf2) 實例上部署 Transformers 模型的流程。開發者現在可以輕鬆將 PyTorch 模型編譯並運行於專為深度學習推理設計的 Inf2 晶片上。這項整合不僅大幅降低了雲端推理成本，還顯著提升了模型吞吐量並降低延遲。
Graph Classification with Transformers
Hugging Face Blog1147d agoTutorialHugging Face 介紹了如何利用 Transformer 架構進行圖形分類（Graph Classification）。文章以微軟開發的 Graphormer 模型為例，展示如何處理非歐幾里得空間的圖形數據，並將其應用於預測分子特性等實際場景。讀者將學習如何利用 Hugging Face transformers 庫載入圖形數據集、進行特徵編碼並訓練圖形 Transformer 模型。
Creating Privacy Preserving AI with Substra
Hugging Face Blog1149d agoNew ToolOwkin 開源的聯邦學習框架 Substra 已託管於 LF AI & Data 基金會。該框架允許開發者在分散且不公開的數據集上協同訓練 AI 模型，特別適合醫療等高隱私需求領域。本文介紹如何結合 Substra 與 Hugging Face 生態系，實現可追溯、安全且合規的隱私保護機器學習。
Snorkel AI x Hugging Face: unlock foundation models for enterprises
Hugging Face Blog1155d agoBusinessSnorkel AI 與 Hugging Face 宣布合作，旨在解決企業應用基礎模型（Foundation Models）時面臨的領域數據不足挑戰。透過將 Snorkel Flow 的程式化標註技術與 Hugging Face 的開源模型庫結合，企業能快速標註私有數據並進行模型微調。此方案不僅能加速企業級 AI 應用的開發，還能透過模型蒸餾技術降低推理成本，實現高效且安全的落地部署。
StackLLaMA: A hands-on guide to train LLaMA with RLHF★ 80
Hugging Face Blog1156d agoTutorial本指南是 Hugging Face 介紹如何使用 TRL（Transformer Reinforcement Learning）與 PEFT（LoRA）技術，對 LLaMA 模型進行人類回饋強化學習（RLHF）的經典實戰教學。文章以 Stack Exchange 數據集為例，詳細拆解了監督式微調（SFT）、獎勵模型（RM）訓練，以及近端策略最佳化（PPO）三大核心步驟，展示了如何在有限的硬體資源下完成大語言模型的對齊（Alignment）訓練。
Ethics and Society Newsletter #3: Ethical Openness at Hugging Face
Hugging Face Blog1162d agoOpinionHugging Face 在第三期《倫理與社會簡報》中深入探討了「倫理開放性（Ethical Openness）」的概念。他們強調開源 AI 不應是毫無限制的釋出，而需在促進科學協作與防範技術濫用之間取得平衡。文章介紹了 Hugging Face 如何透過「閘門式模型（Gated Models）」、負責任 AI 授權條款（RAIL）以及社群檢舉機制，在實踐開放科學的同時降低潛在風險。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1164d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Blog1164d agoTutorial本文介紹在 Intel CPU 上加速 Stable Diffusion 推論的實用方法。透過 Hugging Face 的 Optimum Intel 整合套件，開發者可輕鬆利用 OpenVINO 和 Intel Extension for PyTorch (IPEX) 進行優化。在第四代 Intel Xeon 處理器上，結合 AMX 技術與 BF16/INT8 量化，能實現數倍的推論速度提升，為無 GPU 環境提供高效的替代方案。
Federated Learning using Hugging Face and Flower★ 70
Hugging Face Blog1165d agoTutorial本文介紹如何整合 Hugging Face 與開源聯邦學習框架 Flower，實現保護隱私的分散式模型訓練。透過 Flower，開發者可以在不共享原始數據的情況下，協同微調 Hugging Face 上的 Transformer 模型。文中提供具體的實作步驟，包含定義 Flower Client、設定伺服器聚合演算法（如 FedAvg）以及評估模型效能。
Train your ControlNet with diffusers★ 75
Hugging Face Blog1168d agoTutorialHugging Face 釋出官方指南，詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下，加入額外的控制條件（如邊緣、姿勢或深度）。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調，以及如何將訓練好的模型部署與推論。
Jupyter X Hugging Face★ 75
Hugging Face Blog1169d agoReleaseHugging Face 宣布與 Jupyter 生態系深度整合，推出全新的 Notebooks Hub。用戶現在可以直接在 Hugging Face 上瀏覽、搜尋與託管 Jupyter Notebooks。此外，平台提供一鍵啟動功能，讓開發者能直接將 Notebook 導入 Google Colab、Kaggle 或 Paperspace 等雲端環境，大幅降低了運行與測試開源 AI 模型的門檻。
How to use Alpaca-LoRA to fine-tune a model like ChatGPT★ 72
Replicate Blog1169d agoTutorial本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應（LoRA）技術，開發者可以在消費級硬體或 Replicate 雲端平台上，以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據，即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力，大幅降低了客製化大語言模型的門檻。
Week 3 of LLaMA 🦙
Replicate Blog1174d agoCommentary本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力，包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp，以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻，奠定了今日開源 AI 生態系蓬勃發展的基礎。
Train and run Stanford Alpaca on your own machine
Replicate Blog1176d agoTutorialStanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型，具備類似 ChatGPT 的對話能力。 Replicate 發表指南，詳細說明如何使用開源工具 Cog 將 Alpaca 打包，並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調，大幅降低了開發者構建專屬開源 LLM 的門檻。
Multivariate Probabilistic Time Series Forecasting with Informer
Hugging Face Blog1182d agoTutorialHugging Face 宣布將 AAAI 2021 最佳論文 Informer 模型整合至其 Transformers 庫中。本篇介紹如何利用 Informer 進行多變量機率時間序列預測，解決傳統 Transformer 在長序列預測上的高運算複雜度問題。透過 ProbSparse 自注意力機制與生成式解碼器，Informer 能在保持高準確度的同時，顯著降低記憶體與計算開銷。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1183d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。