Introducing Three New Serverless Inference Providers: Hyperbolic, Nebius AI Studio, and Novita 🔥★ 75
Hugging Face Blog469d agoReleaseHugging Face 宣布新增三家無伺服器（Serverless）推論合作夥伴：Hyperbolic、Nebius AI Studio 與 Novita AI。開發者現在能直接在 Hugging Face 生態系中，以更具彈性、低延遲且具成本效益的方式呼叫各類主流開源模型。這項更新不僅擴展了 Hugging Face 的推論 API 選擇，也為去中心化運算與高效能 GPU 雲端服務帶來更多應用場景。
Welcome Fireworks.ai on the Hub 🎆★ 75
Hugging Face Blog473d agoReleaseHugging Face 宣佈與高效能推論平台 Fireworks.ai 展開合作，將其整合至 Hugging Face Hub。開發者現在可以直接在 Hub 上利用 Fireworks.ai 的超低延遲推論引擎，運行 Llama 3、Qwen 等熱門開源模型。這項合作不僅簡化了 API 調用流程，也為尋求高性價比、企業級推論服務的開發者提供了全新選擇。
1 Billion Classifications★ 80
Hugging Face Blog474d agoTutorialHugging Face 發表專文探討大規模文本分類的實踐。在 LLM 時代，許多開發者盲目使用 GPT-4 等生成式大模型進行分類，導致成本高昂且延遲高。文章展示了如何利用 ModernBERT、DeBERTa 等開源編碼器模型，搭配 Rust 編寫的 TEI (Text Embeddings Inference) 引擎，在極低成本下於短時間內完成 10 億次分類。這種方法不僅能將延遲壓低至個位數毫秒，成本更比使用 LLM API 降低高達 90% 以上，為工業級數據處理提供高效示範。
How to deploy and fine-tune DeepSeek models on AWS★ 85
Hugging Face Blog488d agoTutorial本文為 Hugging Face 釋出的實用指南，詳細介紹如何在 AWS 環境中部署與微調熱門的 DeepSeek-R1 及其蒸餾（Distilled）模型。內容涵蓋使用 Hugging Face LLM DLC（深度學習容器）與 TGI 技術在 Amazon SageMaker 上進行低延遲推論部署，以及如何透過 SageMaker 訓練作業與 Hugging Face TRL 庫進行高效微調（如 LoRA），並提供針對不同模型大小的 AWS 硬體配置建議。
Welcome to Inference Providers on the Hub 🔥★ 85
Hugging Face Blog490d agoReleaseHugging Face 宣佈在 Hub 上整合「Inference Providers」功能。開發者現在可以直接在模型頁面或透過 SDK，自由選擇 Groq、Together AI、Fireworks AI 等第三方推理服務商來運行開源模型。這項更新簡化了 API 調用流程，讓用戶能根據速度、成本與延遲，彈性切換最適合的後端算力，無需自行維護基礎設施。
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference★ 85
Hugging Face Blog502d agoReleaseHugging Face 的 Text Generation Inference (TGI) 宣布支援多後端架構，正式整合 NVIDIA TensorRT-LLM 與 vLLM。這項更新讓開發者無需在 TGI 的生產級功能（如 Tokenizer、工具調用、安全防護）與其他引擎的極致效能之間做抉擇。現在，用戶可以透過簡單的設定，直接在 TGI 中調用 TRT-LLM 的硬體優化或 vLLM 的高吞吐量優勢。
NVIDIA L40S GPUs are here
Replicate Blog564d agoNew ToolAI 部署平台 Replicate 正式推出 NVIDIA L40S GPU 算力選項。與傳統的 A100 或 A10G 相比，L40S 在圖像生成（如 Stable Diffusion）和中小型語言模型推理上，提供了更優異的性能與更低的運算成本，是開發者優化 AI 部署成本的新選擇。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog622d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Introduction to ggml★ 80
Hugging Face Blog658d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
Serverless Inference with Hugging Face and NVIDIA NIM★ 82
Hugging Face Blog673d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
Google Cloud TPUs made available to Hugging Face users★ 75
Hugging Face Blog693d agoReleaseHugging Face 與 Google Cloud 合作，正式將 TPU（如 TPU v5e）引入其平台。用戶現在可以在 Hugging Face Spaces 和 Inference Endpoints 中直接選擇 TPU 作為硬體加速器。這項整合為部署大型語言模型和擴散模型提供了極具性價比的 GPU 替代方案，大幅降低了雲端推理的成本與門檻。
H100s are coming to Replicate
Replicate Blog720d agoReleaseAI 雲端託管平台 Replicate 宣佈即將引進強大的 NVIDIA H100 Tensor Core GPU。此硬體升級將全面支援平台上的模型推理（Predictions）與微調訓練（Training），為開發者帶來更低的延遲與更快的運算速度。目前官方已正式開放早期存取（Early Access）的申請管道，有高算力需求、想搶先體驗 H100 效能的開發者與企業，現在即可聯繫官方團隊加入測試名單。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Deploy models on AWS Inferentia2 from Hugging Face★ 75
Hugging Face Blog741d agoReleaseHugging Face 宣布其託管服務 Inference Endpoints 正式支援 AWS Inferentia2 (Inf2) 執行個體。這項整合讓開發者無需繁瑣的編譯設定，即可將 Llama、Mistral 等大型語言模型部署至 AWS 的專屬推論晶片上。相較於傳統 GPU，Inferentia2 能大幅降低推論成本並提升吞吐量，為企業提供更具成本效益的生產環境部署選擇。
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon★ 70
Hugging Face Blog754d agoTutorial本文介紹如何結合 Intel Gaudi 2 AI 加速器與 Intel Xeon 處理器，打造具成本效益的企業級檢索增強生成（RAG）應用。透過 Hugging Face 的 TEI 與 TGI 技術，企業能在 Xeon 上高效處理向量嵌入，並在 Gaudi 2 上加速大語言模型推理，為非 Nvidia 生態系提供強大的替代方案。
Running Privacy-Preserving Inferences on Hugging Face Endpoints★ 75
Hugging Face Blog777d agoReleaseHugging Face 與開源密碼學公司 Zama 合作，介紹如何在 Hugging Face Endpoints 上部署全同態加密（FHE）模型。透過 FHE 技術，用戶的敏感數據在傳輸與計算過程中皆保持加密狀態，雲端伺服器可在不解密的情況下完成推理。此方案為醫療、金融等高隱私需求行業提供了一種安全使用雲端 AI 算力的新途徑。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog910d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Goodbye cold boot - how we made LoRA Inference 300% faster★ 85
Hugging Face Blog910d agoReleaseHugging Face 分享了優化 LoRA 模型推論的技術突破。傳統上，為不同用戶切換微調模型會面臨嚴重的「冷啟動」延遲；新方案透過在 Text Generation Inference (TGI) 中實現動態載入 LoRA 轉接器（Adapters），讓共享同一個基礎模型的不同微調版本能即時切換，使整體推論速度提升達 300%，大幅降低多租戶架構的部署成本與延遲。
Make your llama generation time fly with AWS Inferentia2★ 72
Hugging Face Blog938d agoTutorialHugging Face 介紹如何使用 AWS Inferentia2（Inf2 執行個體）來加速 Llama 2 模型的推理。透過 Optimum Neuron 整合庫，開發者可以輕鬆將 Llama 2 編譯並部署至 AWS 自研晶片上。這不僅能顯著提升文字生成速度（降低延遲），還能大幅降低雲端部署的硬體成本，是 NVIDIA GPU 之外的高性價比替代方案。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog952d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
Inference for PROs★ 70
Hugging Face Blog984d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog994d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1005d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
Open-Source Text Generation & LLM Ecosystem at Hugging Face★ 85
Hugging Face Blog1051d agoRelease本文系統性介紹 Hugging Face 的開源 LLM 生態系。核心組件包括用於模型載入與推理的 Transformers、實現高效微調的 PEFT、專為高並發部署設計的 Text Generation Inference (TGI)，以及支援對齊演算法（如 SFT、DPO）的 TRL。透過這些工具的協同效應，開發者可以低成本、高效地完成從模型選型、微調到生產線部署的全流程。
Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1064d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1093d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Accelerating Hugging Face Transformers with AWS Inferentia2★ 70
Hugging Face Blog1142d agoReleaseHugging Face 與 AWS 合作，透過 optimum-neuron 工具套件，簡化了在 AWS Inferentia2 (Inf2) 實例上部署 Transformers 模型的流程。開發者現在可以輕鬆將 PyTorch 模型編譯並運行於專為深度學習推理設計的 Inf2 晶片上。這項整合不僅大幅降低了雲端推理成本，還顯著提升了模型吞吐量並降低延遲。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1162d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too
Hugging Face Blog1203d agoOpinionMantis NLP 團隊分享了他們將 NLP 模型部署全面轉向 Hugging Face Inference Endpoints 的實戰經驗。相較於傳統自建 AWS SageMaker 或 EC2 基礎設施，Hugging Face 提供極低的維護門檻、靈活的自動縮放（包括縮減至零）以及極具競爭力的價格。這項轉變不僅大幅縮短了產品上線時間，也讓團隊能更專注於模型本身的研發而非繁雜的運維工作。