Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
Hugging Face Blog1357d agoTutorialHugging Face 釋出技術指南，針對 1760 億參數的開源巨型模型 BLOOM 提供高效推理方案。透過結合 DeepSpeed-Inference 的張量並行（Tensor Parallelism）與 Accelerate 的彈性部署，解決了超大模型需要超高 VRAM 的痛點。文章提供具體 PyTorch 腳本與基準測試，展示如何在多卡環境下將推理延遲降至最低。
What's new in Diffusers? 🎨★ 70
Hugging Face Blog1361d agoReleaseHugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion，並推出圖生圖（Img2Img）與局部繪製（Inpainting）等全新 Pipeline。此外，團隊大幅優化了記憶體佔用，引入 Attention Slicing 技術，讓 4GB 顯存的 GPU 也能順利運行擴散模型，並新增了多種採樣調度器（Schedulers）。
Train your first Decision Transformer★ 72
Hugging Face Blog1365d agoTutorial本教學為 Hugging Face 官方指南，介紹如何訓練第一個 Decision Transformer (DT)。DT 將強化學習（RL）重新框架為序列建模問題，利用 Transformer 架構預測動作。教學涵蓋離線強化學習（Offline RL）的概念、如何使用 Hugging Face 的 `transformers` 庫與 `DecisionTransformerModel`，並在 Gym 環境中進行實作與評估，是結合 NLP 技術與控制任務的經典入門。
How to train a Language Model with Megatron-LM★ 72
Hugging Face Blog1366d agoTutorial這是一篇由 Hugging Face 發布的實用教學，指導開發者如何使用 NVIDIA 的 Megatron-LM 框架來訓練超越單張 GPU 顯存限制的大型語言模型（LLM）。文章深入探討了張量並行（Tensor Parallelism）與流水線並行（Pipeline Parallelism）的核心概念，並詳細說明了從數據準備、訓練配置到最後將 Megatron 權重轉換回 Hugging Face Transformers 格式的完整工作流。
Run Stable Diffusion on your M1 Mac’s GPU
Replicate Blog1373d agoTutorial本教學指導開發者如何在 M1 Mac 上利用 PyTorch 的 MPS (Metal Performance Shaders) 後端，本地端調用 GPU 運行 Stable Diffusion。內容涵蓋 Python 環境設定、安裝支援 MPS 的 PyTorch 與 Hugging Face diffusers 庫，並提供完整的程式碼範例，讓開發者能完全免費、私密地在 local 端進行 AI 圖像生成與二次開發。
OpenRAIL: Towards open and responsible AI licensing frameworks★ 75
Hugging Face Blog1373d agoCommentaryHugging Face 介紹了 OpenRAIL（開放負責任 AI 授權）框架，旨在解決傳統開源授權無法約束 AI 濫用的問題。該框架允許用戶自由下載、修改和商業化 AI 模型，但同時在授權條款中加入「使用限制條款」，禁止將 AI 用於惡意用途（如生成深偽造、違法行為等）。這項舉措在促進技術共享與防範 AI 風險之間取得了平衡，成為 Stable Diffusion 等知名模型所採用的授權基礎。
Visualize proteins on Hugging Face Spaces
Hugging Face Blog1380d agoTutorialHugging Face 宣布支援在 Spaces 中整合 3Dmol.js 視覺化工具。這項功能讓生物資訊與 AI 領域的研究人員，能直接在 Gradio 或 Streamlit 應用中呈現 3D 分子模型。對於展示如 AlphaFold 或 ESMFold 等蛋白質預測模型結果非常實用，大幅降低了生醫 AI 展示工具的開發門檻。
Stable Diffusion with 🧨 Diffusers★ 85
Hugging Face Blog1382d agoReleaseHugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API，輕鬆載入權重並進行文字生成圖像（Text-to-Image）的推論。文章詳細介紹了潛在擴散模型（Latent Diffusion）的運作原理，並提供多種記憶體優化技術，大幅降低了開源 AI 繪圖的硬體門檻。
Pre-Train BERT with Hugging Face Transformers and Habana Gaudi
Hugging Face Blog1382d agoTutorial本指南介紹如何結合 Hugging Face Transformers 與 Intel Habana Gaudi (HPU) 進行 BERT 模型的預訓練。透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可將訓練任務轉移至 Gaudi 晶片，大幅提升訓練效率並降低成本。文章提供完整的程式碼範例與配置步驟，適合需要大規模預訓練自訂模型的工程師。
Deploying 🤗 ViT on Vertex AI
Hugging Face Blog1385d agoTutorial本文詳細說明如何將 Hugging Face 的 ViT (Vision Transformer) 模型部署至 Google Cloud Vertex AI。步驟包含編寫自定義預測腳本、打包 Docker 容器、將模型註冊至 Model Registry，並最終部署到端點進行即時線上推論，是電腦視覺模型落地的實用指南。
Deep Dive: Vision Transformers On Hugging Face Optimum Graphcore
Hugging Face Blog1386d agoTutorialHugging Face 深入探討如何結合 Optimum 庫與 Graphcore 的 IPU（智慧處理單元）來加速 Vision Transformer (ViT) 模型。文章詳細說明了 optimum-graphcore 的整合方式，展示如何透過簡單的代碼修改，在 IPU 上實現高效的圖像分類模型微調與推理。這為需要處理大規模電腦視覺任務的開發者提供了一個強大且具成本效益的硬體加速方案。
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes★ 80
Hugging Face Blog1387d agoReleaseHugging Face 宣布與 bitsandbytes 深度整合，支援 LLM.int8() 8-bit 量化技術。此技術透過混合精度分解，將極端值保留在 FP16，其餘進行 8-bit 量化，成功讓大模型（如 BLOOM-176B）的記憶體需求減半。開發者現在只需在 from_pretrained 中加入 load_in_8bit=True，即可在消費級 GPU 上運行原本需要多張顯卡的大型語言模型。
Hugging Face's TensorFlow Philosophy
Hugging Face Blog1392d agoOpinionHugging Face 闡述了其對 TensorFlow (TF) 的核心哲學：將 TF 視為一等公民，確保與 PyTorch 模型的雙向互操作性。透過將 TF 模型設計為 `tf.keras.Model` 的子類別，開發者能直接使用 Keras 的 `fit()` 等 API，並支援 XLA 編譯與 `tf.data`，為 TF 社群提供無縫且直覺的開發體驗。
Introducing Skops
Hugging Face Blog1392d agoReleaseHugging Face 宣布推出新開源庫 Skops，專為 scikit-learn 等表格數據模型設計。Skops 解決了傳統 pickle 格式的安全漏洞，提供更安全的模型序列化方案。此外，它還簡化了將 scikit-learn 模型上傳至 Hugging Face Hub 的流程，並支持自動生成模型卡片與互動式預測介面，讓傳統機器學習也能享有現代 MLOps 的便利。
Deploying 🤗 ViT on Kubernetes with TF Serving
Hugging Face Blog1393d agoTutorial本文詳細說明了將 Hugging Face 的 Vision Transformer (ViT) 模型部署到生產環境的完整流程。內容涵蓋將模型轉換為 TensorFlow SavedModel 格式、配置 TF Serving 服務，以及撰寫 Kubernetes 部署與服務 YAML 檔。最後展示了如何透過 API 進行高效能的圖像分類推理，是 MLOps 工程師將視覺模型落地生產環境的實用指南。
Join us at Uncanny Spaces
Replicate Blog1393d agoBusinessReplicate 於 2022 年 8 月發表簡短公告，邀請社群成員參與名為「Uncanny Spaces」的活動。該活動旨在將人們聚集在一起，共同探索和展示利用機器學習技術所創造的各種新穎作品。這反映了 Replicate 致力於推動 AI 開發者與創作者社群交流的長期承諾。
Train and Fine-Tune Sentence Transformers Models★ 75
Hugging Face Blog1394d agoTutorial本指南詳細介紹如何訓練與微調 Sentence Transformers 模型。內容涵蓋雙編碼器（Bi-Encoder）與交叉編碼器（Cross-Encoder）的差異、如何準備訓練數據（如成對文本或三元組），以及如何選擇適合的損失函數（如 MultipleNegativesRankingLoss）來提升語意搜尋與向量檢索的精準度，是優化 RAG 系統必讀的經典教學。
Proximal Policy Optimization (PPO)★ 70
Hugging Face Blog1399d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，深入探討當前最主流的強化學習演算法「近端策略優化 (PPO)」。文章解析了 PPO 如何透過「剪裁代理目標函數」解決傳統策略梯度法步長過大導致崩潰的問題，並引導讀者使用 Stable-Baselines3 進行實戰演練，是理解 LLM 對齊技術（如 RLHF）的重要基石。
Automating image collection
Replicate Blog1399d agoTutorial本文探討如何利用 CLIP 的語意搜尋能力與龐大的 LAION-5B 開源影像數據集，自動化建立自定義圖像數據集。讀者可以透過輸入文字描述，精準篩選並批次下載成千上萬張相關圖片與其標籤。這對於需要訓練專屬 AI 模型（如 Stable Diffusion 微調）的開發者與研究人員來說，是一個極具實用價值的工具與工作流。
Introducing the Private Hub: A New Way to Build With Machine Learning★ 75
Hugging Face Blog1401d agoReleaseHugging Face 正式推出 Private Hub，允許企業與團隊在安全的私有環境中託管、管理和共享機器學習模型、數據集與 Spaces。該服務提供細粒度的權限控制與企業級安全保障，並與 Hugging Face 開源生態系無縫整合，讓團隊能更高效且合規地協作開發 AI 應用。
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
Hugging Face Blog1402d agoReleaseHugging Face 官方部落格介紹了 Nyströmformer 模型。該模型旨在解決傳統 Transformer 在處理長序列時面臨的平方級（O(n²)）時間與記憶體複雜度限制。透過引入數學上的 Nyström 方法，Nyströmformer 能夠以線性（O(n)）的複雜度高效逼近標準的 Self-Attention 機制，並已整合至 Hugging Face transformers 庫中，方便開發者直接調用。
Comments on U.S. National AI Research Resource Interim Report
Hugging Face Blog1403d agoOpinionHugging Face 針對美國「國家 AI 研究資源（NAIRR）」中期報告提交官方反饋。其核心訴求包括：大力支持開源 AI 與開放科學、推動運算與數據資源的民主化分配以扶植中小型研究機構，以及建立完善的模型與數據集文件規範（如 Model Cards）。此舉旨在確保國家級 AI 資源能真正惠及大眾，而非僅由少數科技巨頭壟斷。
Introducing new audio and vision documentation in 🤗 Datasets
Hugging Face Blog1407d agoReleaseHugging Face 針對其熱門開源庫 `datasets` 發布了全新的音訊與電腦視覺專屬文件。此更新旨在引導開發者如何載入、預處理及操作非文本資料，並詳細介紹了 `Audio` 與 `Image` 特徵類型的使用方法。這標誌著 Hugging Face 從純文本領域向多模態 AI 邁出的重要一步。
Faster Text Generation with TensorFlow and XLA
Hugging Face Blog1408d agoTutorialHugging Face 官方部落格介紹了結合 TensorFlow 與 XLA（加速線性代數）編譯器來優化文本生成的方法。透過在 generate() 函數中啟用 jit_compile=True，開發者可以顯著減少推論延遲。然而，由於 XLA 需要靜態形狀（static shapes），使用時必須對輸入進行固定長度的填充與截斷。
Deploying TensorFlow Vision Models in Hugging Face with TF Serving
Hugging Face Blog1410d agoTutorial本教學詳細說明如何將 Hugging Face 平台上的 TensorFlow 電腦視覺模型（如 ViT）導出為 SavedModel 格式。接著，展示如何利用 TensorFlow Serving (TF Serving) 搭配 Docker 進行模型部署，並透過 REST API 進行高效能的影像分類推論，為開發者提供一套將研發成果轉化為生產線服務的標準流程。
Advantage Actor Critic (A2C)
Hugging Face Blog1413d agoTutorial本教學為 Hugging Face 深度強化學習課程的一部分，詳細解析 Advantage Actor Critic (A2C) 演算法。A2C 結合了 Actor（負責決策）與 Critic（負責評估）的優勢，並透過優勢函數（Advantage Function）降低變異數，提升訓練穩定度。讀者將學習其核心數學原理，並了解如何實作與訓練 AI 代理人。
Exploring text to image models
Replicate Blog1417d agoTutorialReplicate 介紹了如何透過其 API 運行文字生成圖片模型。讀者將學習到如何使用 Python 客戶端，只需幾行程式碼即可呼叫雲端託管的 AI 模型，並輸入提示詞（Prompt）來生成影像。這為開發者提供了一個無需本地高階 GPU 即可快速整合圖像生成功能的途徑。
How to train your model dynamically using adversarial data
Hugging Face Blog1419d agoTutorialHugging Face 介紹了一種利用對抗性數據動態訓練模型的方法。透過 Gradio 建立互動介面（以 MNIST 為例），讓使用者主動找出能騙過模型的樣本。這些對抗性數據會被自動收集並儲存至 Hugging Face Datasets，進而觸發模型的動態重新訓練，有效提升模型的魯棒性。
The Technology Behind BLOOM Training★ 80
Hugging Face Blog1421d agoTutorialHugging Face 詳細公開了 1760 億參數開源模型 BLOOM 的訓練技術細節。該模型在法國 Jean Zay 超級電腦上，利用 384 張 NVIDIA A100 80GB GPU 進行了為期 117 天的訓練。核心技術採用 Megatron-DeepSpeed 框架，結合了張量並行、流水線並行與數據並行的「3D 並行」方案，並透過 BF16 精度解決了大規模訓練中的數值不穩定問題。
Building a Playlist Generator with Sentence Transformers
Hugging Face Blog1422d agoTutorial本文探討如何使用 Sentence Transformers 建立一個智慧歌單生成器。透過將歌曲描述、風格或歌詞轉化為向量嵌入（Embeddings），並利用餘弦相似度比對使用者的文字輸入，系統能精準推薦符合當下心情或情境的音樂。這展示了語意搜尋與向量嵌入技術在現代推薦系統中的實際應用。