Reachy Mini goes fully local
Hugging Face Blog6d agoHardwareHugging Face published a tutorial for running Reachy Mini conversations without cloud audio processing or API keys. The setup uses its speech-to-speech library as a cascaded VAD, STT, LLM, and TTS pipeline exposed through a Realtime API-compatible WebSocket. Recommended defaults include llama.cpp with Gemma 4, Silero VAD, Parakeet-TDT, and Qwen3-TTS, while allowing swaps to vLLM, MLX, Transformers, or hosted Responses API providers.
DeepInfra on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog34d agoReleaseHugging Face 宣布將知名低成本、高效能的推理平台 DeepInfra 整合至其「推理服務商（Inference Providers）」計畫中。現在，開發者在 Hugging Face Hub 上瀏覽開源模型（如 Llama 3、Mistral 等）時，可以直接選擇 DeepInfra 作為後端託管 API，無需自行架設 GPU 基礎設施。這項合作為開發者提供了更多元、更具性價比的無伺服器（Serverless）推理選擇，進一步簡化了 AI 應用的部署流程。
State of Open Source on Hugging Face: Spring 2026★ 85
Hugging Face Blog77d agoCommentaryHugging Face 發布 2026 年春季開源報告，揭示開源 AI 生態的最新趨勢。報告指出，具備推理能力的開源模型（如 DeepSeek 與 Qwen 系列）已成為社群主流；同時，以 smolagents 為首的輕量級 Agent 框架與本機端（On-Device）小模型正快速普及。此外，開源多模態與影片生成技術的下載量也創下歷史新高，展現出開源社群強大的創新動能。
Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
Train AI models with Unsloth and Hugging Face Jobs for FREE★ 85
Hugging Face Blog102d agoNew ToolHugging Face 宣布與極速微調工具 Unsloth 合作，推出免費的 AI 模型訓練方案。使用者可以透過 Hugging Face Jobs 平台，直接在雲端免費運行 Unsloth 的高效微調任務。這項合作大幅降低了個人開發者與研究人員微調 Llama 3、Gemma 等開源大模型的門檻與成本。
OVHcloud on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog190d agoReleaseHugging Face 宣布與歐洲最大雲端服務商 OVHcloud 合作，將其納入「推理供應商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 OVHcloud 託管的基礎設施來運行開源 AI 模型。此合作為重視 GDPR 合規與數據主權的企業，提供了安全、高效且具成本效益的無伺服器（Serverless）推理新選擇。
Public AI on Hugging Face Inference Providers 🔥★ 70
Hugging Face Blog258d agoReleaseHugging Face 宣佈與 Public AI 合作，正式將其整合至「推理提供商（Inference Providers）」生態系中。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Public AI 提供的無伺服器（Serverless）API 來運行 Llama、Mistral 等熱門開源模型。此舉不僅簡化了 AI 應用的部署流程，也為開發者在尋求高效能、低延遲且具成本效益的推理基礎設施時，提供了全新的選擇。
Announcing Replicate's remote MCP server★ 75
Replicate Blog296d agoNew ToolReplicate 宣布推出遠端 MCP（Model Context Protocol）伺服器，將其平台上的數萬個開源模型直接接入開發工作流。使用者現在無需離開編輯器或聊天介面，即可在 Claude Desktop、Cursor 和 VS Code 等工具中，直接搜尋、比較並執行 Replicate 上的模型。這項更新大幅簡化了開發者測試與整合各種開源 AI 模型（如 Llama、Flux 等）的流程，提升開發效率。
Introducing AI Sheets: a tool to work with datasets using open AI models!★ 75
Hugging Face Blog298d agoNew ToolHugging Face 發表全新工具「AI Sheets」，旨在降低數據集處理的門檻。使用者無需編寫複雜代碼，即可在類似 Excel 的試算表介面中導入數據，並調用 Hugging Face 上的開源 AI 模型進行批量文本分類、翻譯、情感分析或數據增強。這項工具結合了開源生態系的靈活性與直觀的無程式碼操作，大幅提升了數據準備與標記的效率。
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
Groq on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog351d agoReleaseHugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。
Dell Enterprise Hub is all you need to build AI on premises★ 75
Hugging Face Blog375d agoReleaseHugging Face 與 Dell 合作推出 Dell Enterprise Hub，旨在簡化企業在本地端（on-premises）部署 AI 模型的流程。該平台整合了 Dell 的硬體優勢與 Hugging Face 的豐富模型庫，提供經優化的容器與自動化工作流。這讓企業能在確保數據安全與合規的前提下，輕鬆在自家伺服器上運行 Llama、Mistral 等主流開源模型。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
The NLP Course is becoming the LLM Course★ 85
Hugging Face Blog425d agoTutorialHugging Face 宣布將其廣受歡迎的經典「NLP 課程（NLP Course）」正式轉型並升級為「LLM 課程（LLM Course）」。這項轉變反映了 AI 領域從傳統 NLP（如 BERT、分類與命名實體識別）向大語言模型（如 Llama、生成式 AI、RAG 與 Agent）的典範轉移。新課程將全面更新，涵蓋現代 LLM 架構、微調（PEFT/LoRA）、對齊（RLHF/DPO）及應用開發，繼續提供免費且高品質的開源學習資源。
🚀 Accelerating LLM Inference with TGI on Intel Gaudi★ 75
Hugging Face Blog431d agoReleaseHugging Face 宣布其文字生成推理（TGI）框架現已整合 Intel Gaudi 加速器後端。這項合作讓開發者能直接在 Intel Gaudi 2 和 Gaudi 3 晶片上部署高效能 LLM，並享有連續批處理（Continuous Batching）與張量並行（Tensor Parallelism）等優化技術。此舉為企業在 NVIDIA 之外，提供了一個極具成本效益且易於部署的 AI 推理硬體新選擇。
Welcome to Inference Providers on the Hub 🔥★ 85
Hugging Face Blog490d agoReleaseHugging Face 宣佈在 Hub 上整合「Inference Providers」功能。開發者現在可以直接在模型頁面或透過 SDK，自由選擇 Groq、Together AI、Fireworks AI 等第三方推理服務商來運行開源模型。這項更新簡化了 API 調用流程，讓用戶能根據速度、成本與延遲，彈性切換最適合的後端算力，無需自行維護基礎設施。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog554d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog600d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Introducing Community Tools on HuggingChat★ 75
Hugging Face Blog624d agoReleaseHugging Face 宣布在 HuggingChat 中推出「社群工具 (Community Tools)」功能。這項更新讓 HuggingChat 上的開源模型（如 Llama 3.1、Command R+）能夠調用由社群開發的各種工具，例如圖像生成、網頁抓取、計算機等。開發者可以使用 Python 輕鬆建立並分享工具，使開源 AI 助理具備更強大的 Agent 實用能力。
Tool Use, Unified★ 85
Hugging Face Blog659d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。
Serverless Inference with Hugging Face and NVIDIA NIM★ 82
Hugging Face Blog673d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。
WWDC 24: Running Mistral 7B with Core ML★ 75
Hugging Face Blog680d agoTutorialHugging Face 配合 Apple WWDC 24 的更新，發表了將 Mistral 7B 轉換並運行於 Core ML 的完整指南。 透過 Core ML 轉換工具與 4-bit 等量化技術，開發者能將模型部署至 Apple Silicon 晶片，充分利用 Apple 類神經網路引擎（ANE）與統一記憶體。 此舉大幅降低了在 macOS、iOS 等 Apple 生態系中本地部署高效能開源 LLM 的門檻。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
Announcing New Hugging Face and KerasHub integration★ 75
Hugging Face Blog692d agoReleaseHugging Face 宣布與 KerasHub（前身為 KerasNLP 與 KerasCV）達成全新整合。開發者現在可以使用簡單的 API，直接在 Hugging Face Hub 上儲存與載入 KerasHub 模型。這項整合支援 Keras 3 的多後端特性，讓使用者能無縫在 JAX、PyTorch 或 TensorFlow 之間切換，大幅簡化了跨框架模型的部署與微調流程。
Banque des Territoires (CDC Group) x Polyconseil x Hugging Face: Enhancing a Major French Environmental Program with a Sovereign Data Solution
Hugging Face Blog693d agoBusiness法國 Banque des Territoires（CDC 集團旗下）與技術夥伴 Polyconseil 及 Hugging Face 合作，針對其重大環境與生態轉型計畫推出「主權數據解決方案」。該方案旨在確保敏感的國土與環境數據在處理時符合歐洲嚴格的隱私法規（如 GDPR）。透過 Hugging Face 的開源模型生態系統與本地化部署，該計畫成功在不依賴非歐盟雲端服務的前提下，利用先進 AI 進行大規模文件分析與決策輔助，為公部門的 AI 主權化樹立了典範。
Deploy models on AWS Inferentia2 from Hugging Face★ 75
Hugging Face Blog741d agoReleaseHugging Face 宣布其託管服務 Inference Endpoints 正式支援 AWS Inferentia2 (Inf2) 執行個體。這項整合讓開發者無需繁瑣的編譯設定，即可將 Llama、Mistral 等大型語言模型部署至 AWS 的專屬推論晶片上。相較於傳統 GPU，Inferentia2 能大幅降低推論成本並提升吞吐量，為企業提供更具成本效益的生產環境部署選擇。
From cloud to developers: Hugging Face and Microsoft Deepen Collaboration★ 75
Hugging Face Blog742d agoBusinessHugging Face 宣布與微軟深化合作，將其開源模型庫與 Azure AI Studio 進行深度整合。開發者現在可以直接在 Azure 上以無伺服器 API（Model-as-a-Service）形式部署熱門開源模型。此外，雙方也加強了對 Windows AI 本地端運算（如 ONNX Runtime）的支援，全面打通從雲端到邊緣端的開發流程。