Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
Hugging Face Blog1267d agoCommentaryHugging Face 發布 Habana Gaudi2 與 Nvidia A100 80GB 的基準測試對比。結果顯示，Gaudi2 在 BERT 和 T5 等主流模型的訓練速度上比 A100 快上近兩倍。透過 optimum-habana 庫，開發者只需修改極少程式碼即可無縫轉移，為 Nvidia 晶片短缺與高成本提供了強力的替代方案。
Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1272d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。
Deep Learning with Proteins★ 75
Hugging Face Blog1279d agoTutorial本文為 Hugging Face 針對生物資訊與深度學習結合的入門指南。文章介紹了蛋白質語言模型（pLM）的基本概念，將氨基酸序列視為文本，並展示如何利用 Meta 的 ESM-2 模型進行微調。讀者可以學習如何使用 Hugging Face transformers 庫來預測蛋白質的定位與功能，為 AI 驅動的藥物研發與生物科技奠定基礎。
Using Stable Diffusion with Core ML on Apple Silicon★ 75
Hugging Face Blog1280d agoReleaseApple 與 Hugging Face 合作推出 Core ML 版的 Stable Diffusion，讓 Mac、iPad 和 iPhone 能直接利用 Apple 類神經引擎（ANE）進行硬體加速。開發者可以使用 Hugging Face 的 diffusers 庫與 Apple 的轉換工具，將 PyTorch 模型轉換為 .mlpackage 格式。此舉大幅降低了在 Apple 裝置上部署生成式 AI 模型的門檻，並顯著提升了圖像生成速度與能源效率。
Director of Machine Learning Insights [Part 4]
Hugging Face Blog1288d agoOpinion本篇為 Hugging Face 探討機器學習團隊管理的系列文章第四部分。內容聚焦於 ML 總監在實際營運中面臨的三大核心挑戰：如何將技術指標轉化為業務 ROI、如何在高昂的 GPU 成本下進行預算與推論優化，以及在建構 MLOps 工具鏈時，如何權衡「自主研發（Build）」與「採購現成服務（Buy）」。這為正在規模化 ML 團隊的管理者提供了極具價值的實務指南。
An overview of inference solutions on Hugging Face★ 75
Hugging Face Blog1290d agoTutorial本文為 Hugging Face 官方發布的推理（Inference）解決方案指南，系統性介紹了四大核心方案：免費且即開即用的 Serverless Inference API、適合生產環境且安全可控的 Inference Endpoints、用於展示與應用的 Spaces，以及與 AWS/Azure 合作的雲端整合方案。旨在幫助開發者根據預算、延遲與隱私需求，選擇最適合的開源模型部署路徑。
Sentiment Analysis on Encrypted Data with Homomorphic Encryption
Hugging Face Blog1294d agoTutorial本文介紹了如何使用全同態加密（FHE）技術對加密數據進行情緒分析。透過 Zama 開源的 Concrete ML 工具包，開發者可以將 Hugging Face 的機器學習模型轉化為 FHE 版本。這使得用戶可以將加密後的文本傳送到雲端進行推理，雲端伺服器在完全無法得知原文內容的情況下完成情緒分析，並回傳加密的預測結果，完美兼顧雲端運算便利性與用戶隱私。
Generating Human-level Text with Contrastive Search in Transformers 🤗★ 70
Hugging Face Blog1303d agoReleaseHugging Face 介紹了全新解碼方法「對比搜索（Contrastive Search）」，現已整合至 Transformers 庫中。該方法透過引入「退化懲罰」機制，在保持模型預測概率的同時，避免生成與前文語意重複的詞彙。相比傳統的束搜索（Beam Search）或隨機採樣（Sampling），對比搜索能生成更具連貫性、多樣性且無重複的長文本，達到接近人類寫作的水準。
Training Stable Diffusion with Dreambooth using Diffusers★ 75
Hugging Face Blog1304d agoTutorial本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫，開發者與創作者只需提供 3 到 5 張特定主體的照片，即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失（Prior Preservation Loss）的重要性，以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers★ 80
Hugging Face Blog1308d agoTutorial本教學詳細介紹如何使用 Hugging Face 的 `transformers` 庫微調 OpenAI 的 Whisper 語音辨識模型。內容涵蓋從載入 Common Voice 資料集、音訊預處理（重採樣至 16kHz 並轉換為 Log-Mel 聲譜圖）、設定 Tokenizer，到使用 `Seq2SeqTrainer` 進行訓練與評估（以 WER 為指標）的完整流程。這對於想在特定低資源語言或專業領域提升語音轉文字精準度的開發者與研究人員來說，是極具價值的實戰指南。
Accelerate your models with 🤗 Optimum Intel and OpenVINO
Hugging Face Blog1309d agoNew ToolHugging Face 介紹了 `optimum-intel` 與 Intel OpenVINO 的整合。開發者可使用簡單的 `OVModel` API 直接在 Intel CPU 和 GPU 上載入、優化並運行 Hugging Face 模型。此工具還整合了 NNCF 框架，支援將模型量化至 INT8，在極低精度損失下顯著提升推理效率並降低延遲，非常適合邊緣運算與伺服器部署。
Evaluating Language Model Bias with 🤗 Evaluate
Hugging Face Blog1318d agoTutorialHugging Face 推出 evaluate 函式庫，旨在簡化機器學習模型的評估流程。本文重點介紹如何利用該工具評估語言模型中的偏見與毒性，包含使用 regard、toxicity 等評估指標。透過標準化的評估流程，開發者能更輕易地量化模型在性別、種族等維度上的潛在社會偏見，從而打造更安全、公平的 AI 應用。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1328d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
🧨 Stable Diffusion in JAX / Flax !
Hugging Face Blog1329d agoReleaseHugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速，開發者可以在 TPU 和 GPU 上實現極致的推理速度，並輕鬆透過並行運算（pmap）在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Optimization story: Bloom inference
Hugging Face Blog1330d agoTutorial本文探討 Hugging Face 優化 1760 億參數大模型 BLOOM 推理的技術細節。面對 FP16 下高達 352GB 的顯示記憶體需求，團隊結合了 8-bit 量化（LLM.int8()）、Tensor Parallelism（張量並行）以及 Hugging Face Accelerate 的 CPU/NVMe 卸載技術。這些優化成功將記憶體需求減半，並顯著提升吞吐量，降低了開源社群部署超大型語言模型的門檻。
Introducing DOI: the Digital Object Identifier to Datasets and Models
Hugging Face Blog1335d agoReleaseHugging Face 宣布支援 DOI（數位物件識別碼），允許用戶為其託管的模型和資料集生成永久且可信賴的引用連結。此舉旨在解決機器學習領域中學術引用不規範與版本混亂的問題。研究人員現在可以一鍵生成 BibTeX 引用格式，大幅提升開源研究的可重複性與學術影響力追蹤。
Japanese Stable Diffusion
Hugging Face Blog1337d agoReleaseStability AI 於 2022 年 10 月推出了「Japanese Stable Diffusion」模型。該模型專為日語語境進行優化，解決了先前英文版 Stable Diffusion 難以精確理解日語輸入與日本文化細節的問題。用戶可以直接使用日語進行 Prompt 創作，生成更符合日本審美與文化背景的圖像，並已開源託管於 Hugging Face。
Very Large Language Models and How to Evaluate Them★ 75
Hugging Face Blog1339d agoNew Tool隨著大型語言模型（LLM）體積急劇膨脹，如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作，將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本（Zero-shot）與少樣本（Few-shot）評估，這不僅簡化了評估流程，更促進了開源 AI 社群的基準測試透明度與可重複性。
Image Classification with AutoTrain
Hugging Face Blog1344d agoTutorialHugging Face 介紹了其無程式碼平台 AutoTrain 在圖像分類任務上的應用。使用者只需上傳整理好的圖片資料集，系統便會自動進行模型選擇、超參數調優與訓練。訓練完成後，模型會直接託管於 Hugging Face Hub，並自動生成 Inference API，極大地降低了電腦視覺應用的開發門檻。
How 🤗 Accelerate runs very large models thanks to PyTorch★ 80
Hugging Face Blog1345d agoTutorialHugging Face 介紹了其 `Accelerate` 函式庫如何解決超大型模型（如 BLOOM-176B）在單一或有限 GPU 上因記憶體不足而無法加載的痛點。透過 PyTorch 的「元設備（Meta Device）」進行空權重初始化，並結合 `device_map="auto"` 自動將模型層分配至 GPU、CPU 甚至硬碟。這項技術讓開發者與研究人員能在消費級硬體或有限的資源下，進行超大模型的推理與微調。
SetFit: Efficient Few-Shot Learning Without Prompts★ 78
Hugging Face Blog1346d agoReleaseHugging Face 與 Intel Labs 等機構合作推出 SetFit 框架，專為少樣本（Few-shot）文字分類設計。不同於傳統大模型依賴複雜的 Prompt 工程，SetFit 結合了 Sentence Transformers 的對比微調與簡單的分類器。它不僅訓練速度極快、推理成本低，在每類僅需十幾個樣本的情況下，準確度甚至能超越傳統大型語言模型。
Ethics and Society Newsletter #1
Hugging Face Blog1350d agoCommentaryHugging Face 發表第一期《倫理與社會電子報》，正式介紹其倫理與社會研究團隊的願景。內容涵蓋 BigScience 專案的倫理憲章、推動限制惡意使用的「負責任 AI 授權條款（RAIL）」，以及資料集偏見評估工具。此舉旨在倡導開源社群在追求技術進步的同時，兼顧社會責任與倫理規範。
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
Hugging Face Blog1356d agoTutorialHugging Face 釋出技術指南，針對 1760 億參數的開源巨型模型 BLOOM 提供高效推理方案。透過結合 DeepSpeed-Inference 的張量並行（Tensor Parallelism）與 Accelerate 的彈性部署，解決了超大模型需要超高 VRAM 的痛點。文章提供具體 PyTorch 腳本與基準測試，展示如何在多卡環境下將推理延遲降至最低。
What's new in Diffusers? 🎨★ 70
Hugging Face Blog1360d agoReleaseHugging Face 發布 Diffusers 開源庫推出兩個月的進展報告。本次更新核心在於全面整合 Stable Diffusion，並推出圖生圖（Img2Img）與局部繪製（Inpainting）等全新 Pipeline。此外，團隊大幅優化了記憶體佔用，引入 Attention Slicing 技術，讓 4GB 顯存的 GPU 也能順利運行擴散模型，並新增了多種採樣調度器（Schedulers）。
How to train a Language Model with Megatron-LM★ 72
Hugging Face Blog1365d agoTutorial這是一篇由 Hugging Face 發布的實用教學，指導開發者如何使用 NVIDIA 的 Megatron-LM 框架來訓練超越單張 GPU 顯存限制的大型語言模型（LLM）。文章深入探討了張量並行（Tensor Parallelism）與流水線並行（Pipeline Parallelism）的核心概念，並詳細說明了從數據準備、訓練配置到最後將 Megatron 權重轉換回 Hugging Face Transformers 格式的完整工作流。
Run Stable Diffusion on your M1 Mac’s GPU
Replicate Blog1372d agoTutorial本教學指導開發者如何在 M1 Mac 上利用 PyTorch 的 MPS (Metal Performance Shaders) 後端，本地端調用 GPU 運行 Stable Diffusion。內容涵蓋 Python 環境設定、安裝支援 MPS 的 PyTorch 與 Hugging Face diffusers 庫，並提供完整的程式碼範例，讓開發者能完全免費、私密地在 local 端進行 AI 圖像生成與二次開發。
OpenRAIL: Towards open and responsible AI licensing frameworks★ 75
Hugging Face Blog1372d agoCommentaryHugging Face 介紹了 OpenRAIL（開放負責任 AI 授權）框架，旨在解決傳統開源授權無法約束 AI 濫用的問題。該框架允許用戶自由下載、修改和商業化 AI 模型，但同時在授權條款中加入「使用限制條款」，禁止將 AI 用於惡意用途（如生成深偽造、違法行為等）。這項舉措在促進技術共享與防範 AI 風險之間取得了平衡，成為 Stable Diffusion 等知名模型所採用的授權基礎。
Build a robot artist for your Discord server with Stable Diffusion, Replicate, and Fly.io
Replicate Blog1378d agoTutorial本教學指導開發者如何建立一個 Discord 機器人，讓使用者在頻道中輸入提示詞後，自動呼叫 Replicate 上的 Stable Diffusion 模型生成圖片並回傳。內容涵蓋 Discord API 設定、Node.js 程式碼實作，以及如何將機器人部署至 Fly.io 平台，是學習 AI 應用整合的經典實作指南。
Stable Diffusion with 🧨 Diffusers★ 85
Hugging Face Blog1381d agoReleaseHugging Face 於 2022 年 8 月宣布將剛發布的 Stable Diffusion 整合至其 🧨 Diffusers 函式庫中。這項合作讓開發者與研究人員能夠透過極簡的 Python API，輕鬆載入權重並進行文字生成圖像（Text-to-Image）的推論。文章詳細介紹了潛在擴散模型（Latent Diffusion）的運作原理，並提供多種記憶體優化技術，大幅降低了開源 AI 繪圖的硬體門檻。
Deploying 🤗 ViT on Vertex AI
Hugging Face Blog1384d agoTutorial本文詳細說明如何將 Hugging Face 的 ViT (Vision Transformer) 模型部署至 Google Cloud Vertex AI。步驟包含編寫自定義預測腳本、打包 Docker 容器、將模型註冊至 Model Registry，並最終部署到端點進行即時線上推論，是電腦視覺模型落地的實用指南。