New AI Infra Decacorns: Fireworks, Baseten, and OpenRouter★ 78
Latent Space6d agoBusinessAI infrastructure startups Fireworks and Baseten have reportedly reached massive valuations, reflecting intense investor interest in developer-focused inference and deployment platforms. OpenRouter, the popular LLM API aggregator, is also on a rapid growth trajectory. This funding wave highlights a major capital shift toward cost-effective, developer-friendly API and hosting solutions.
Reachy Mini goes fully local
Hugging Face Blog6d agoHardwareHugging Face published a tutorial for running Reachy Mini conversations without cloud audio processing or API keys. The setup uses its speech-to-speech library as a cascaded VAD, STT, LLM, and TTS pipeline exposed through a Realtime API-compatible WebSocket. Recommended defaults include llama.cpp with Gemma 4, Silero VAD, Parakeet-TDT, and Qwen3-TTS, while allowing swaps to vLLM, MLX, Transformers, or hosted Responses API providers.
DeepInfra on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog34d agoReleaseHugging Face 宣布將知名低成本、高效能的推理平台 DeepInfra 整合至其「推理服務商（Inference Providers）」計畫中。現在，開發者在 Hugging Face Hub 上瀏覽開源模型（如 Llama 3、Mistral 等）時，可以直接選擇 DeepInfra 作為後端託管 API，無需自行架設 GPU 基礎設施。這項合作為開發者提供了更多元、更具性價比的無伺服器（Serverless）推理選擇，進一步簡化了 AI 應用的部署流程。
State of Open Source on Hugging Face: Spring 2026★ 85
Hugging Face Blog77d agoCommentaryHugging Face 發布 2026 年春季開源報告，揭示開源 AI 生態的最新趨勢。報告指出，具備推理能力的開源模型（如 DeepSeek 與 Qwen 系列）已成為社群主流；同時，以 smolagents 為首的輕量級 Agent 框架與本機端（On-Device）小模型正快速普及。此外，開源多模態與影片生成技術的下載量也創下歷史新高，展現出開源社群強大的創新動能。
Chat SDK now has an adapter directory
Vercel Changelog84d agoReleaseVercel 宣布為其 Chat SDK（AI SDK）推出全新的 Adapter（轉接器）目錄。此目錄彙整了官方與社群提供的各式轉接器，讓開發者能更輕鬆地將不同的大型語言模型（LLM）供應商、向量資料庫及其他第三方服務無縫整合至 Vercel 的 AI 應用開發工作流中，大幅提升開發效率與靈活性。
Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
Train AI models with Unsloth and Hugging Face Jobs for FREE★ 85
Hugging Face Blog102d agoNew ToolHugging Face 宣布與極速微調工具 Unsloth 合作，推出免費的 AI 模型訓練方案。使用者可以透過 Hugging Face Jobs 平台，直接在雲端免費運行 Unsloth 的高效微調任務。這項合作大幅降低了個人開發者與研究人員微調 Llama 3、Gemma 等開源大模型的門檻與成本。
Mistral Large 3 now available on Vercel AI Gateway
Vercel Changelog182d agoReleaseVercel 宣布其 AI Gateway 正式整合 Mistral AI 的最新旗艦模型 Mistral Large 3。 開發者現在可以透過 Vercel 的統一 API 輕鬆調用此模型，並享有邊緣快取、速率限制與即時分析等 Gateway 優勢。 這項更新將助力開發者在 Vercel 平台上，以更低延遲與高彈性構建具備高階推理及程式碼生成能力的 AI 應用。
OVHcloud on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog190d agoReleaseHugging Face 宣布與歐洲最大雲端服務商 OVHcloud 合作，將其納入「推理供應商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 OVHcloud 託管的基礎設施來運行開源 AI 模型。此合作為重視 GDPR 合規與數據主權的企業，提供了安全、高效且具成本效益的無伺服器（Serverless）推理新選擇。
Public AI on Hugging Face Inference Providers 🔥★ 70
Hugging Face Blog258d agoReleaseHugging Face 宣佈與 Public AI 合作，正式將其整合至「推理提供商（Inference Providers）」生態系中。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Public AI 提供的無伺服器（Serverless）API 來運行 Llama、Mistral 等熱門開源模型。此舉不僅簡化了 AI 應用的部署流程，也為開發者在尋求高效能、低延遲且具成本效益的推理基礎設施時，提供了全新的選擇。
Open SDK strategy★ 75
Vercel Changelog272d agoOpinionVercel 發表其「開放 SDK 策略」（Open SDK strategy），強調 Vercel AI SDK 的開放性與互操作性。該策略專注於提供跨模型供應商（如 OpenAI、Anthropic、Gemini）的統一 API，並支援多種前端框架與執行環境。透過社群驅動的 Provider 機制與標準化的工具調用（Tool Calling）及結構化輸出，Vercel 旨在降低 AI 應用的開發門檻，建立去中心化的 AI 開發生態系。
Announcing Replicate's remote MCP server★ 75
Replicate Blog296d agoNew ToolReplicate 宣布推出遠端 MCP（Model Context Protocol）伺服器，將其平台上的數萬個開源模型直接接入開發工作流。使用者現在無需離開編輯器或聊天介面，即可在 Claude Desktop、Cursor 和 VS Code 等工具中，直接搜尋、比較並執行 Replicate 上的模型。這項更新大幅簡化了開發者測試與整合各種開源 AI 模型（如 Llama、Flux 等）的流程，提升開發效率。
Introducing AI Sheets: a tool to work with datasets using open AI models!★ 75
Hugging Face Blog298d agoNew ToolHugging Face 發表全新工具「AI Sheets」，旨在降低數據集處理的門檻。使用者無需編寫複雜代碼，即可在類似 Excel 的試算表介面中導入數據，並調用 Hugging Face 上的開源 AI 模型進行批量文本分類、翻譯、情感分析或數據增強。這項工具結合了開源生態系的靈活性與直觀的無程式碼操作，大幅提升了數據準備與標記的效率。
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
Groq on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog351d agoReleaseHugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。
Dell Enterprise Hub is all you need to build AI on premises★ 75
Hugging Face Blog375d agoReleaseHugging Face 與 Dell 合作推出 Dell Enterprise Hub，旨在簡化企業在本地端（on-premises）部署 AI 模型的流程。該平台整合了 Dell 的硬體優勢與 Hugging Face 的豐富模型庫，提供經優化的容器與自動化工作流。這讓企業能在確保數據安全與合規的前提下，輕鬆在自家伺服器上運行 Llama、Mistral 等主流開源模型。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
The NLP Course is becoming the LLM Course★ 85
Hugging Face Blog425d agoTutorialHugging Face 宣布將其廣受歡迎的經典「NLP 課程（NLP Course）」正式轉型並升級為「LLM 課程（LLM Course）」。這項轉變反映了 AI 領域從傳統 NLP（如 BERT、分類與命名實體識別）向大語言模型（如 Llama、生成式 AI、RAG 與 Agent）的典範轉移。新課程將全面更新，涵蓋現代 LLM 架構、微調（PEFT/LoRA）、對齊（RLHF/DPO）及應用開發，繼續提供免費且高品質的開源學習資源。
🚀 Accelerating LLM Inference with TGI on Intel Gaudi★ 75
Hugging Face Blog431d agoReleaseHugging Face 宣布其文字生成推理（TGI）框架現已整合 Intel Gaudi 加速器後端。這項合作讓開發者能直接在 Intel Gaudi 2 和 Gaudi 3 晶片上部署高效能 LLM，並享有連續批處理（Continuous Batching）與張量並行（Tensor Parallelism）等優化技術。此舉為企業在 NVIDIA 之外，提供了一個極具成本效益且易於部署的 AI 推理硬體新選擇。
Groq, fal, and DeepInfra join the Vercel Marketplace★ 75
Vercel Changelog441d agoReleaseVercel 宣佈 Groq、fal 和 DeepInfra 正式上架其 Marketplace。開發者現在可以直接在 Vercel 平台中一鍵啟用這些熱門的 AI 推理與生成服務。此整合不僅簡化了 API 金鑰管理與環境變數設定，還提供了統一帳單功能，大幅降低了在 Vercel 專案中部署高效能 AI 應用的門檻。
Welcome to Inference Providers on the Hub 🔥★ 85
Hugging Face Blog490d agoReleaseHugging Face 宣佈在 Hub 上整合「Inference Providers」功能。開發者現在可以直接在模型頁面或透過 SDK，自由選擇 Groq、Together AI、Fireworks AI 等第三方推理服務商來運行開源模型。這項更新簡化了 API 調用流程，讓用戶能根據速度、成本與延遲，彈性切換最適合的後端算力，無需自行維護基礎設施。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Vercel and AWS partner on AI tools and experiences★ 75
Vercel Changelog540d agoBusinessVercel 宣布與 AWS 達成合作，旨在為前端開發者提供更流暢的 AI 開發體驗。 雙方將 Amazon Bedrock 的模型庫與 Vercel AI SDK 進行深度整合，支援 Claude、Llama 等多款熱門模型。 此合作讓開發者能結合 AWS 的企業級安全基礎設施與 Vercel 的極致開發體驗，快速構建並擴展 AI 網頁應用。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog554d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog600d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Introducing Community Tools on HuggingChat★ 75
Hugging Face Blog624d agoReleaseHugging Face 宣布在 HuggingChat 中推出「社群工具 (Community Tools)」功能。這項更新讓 HuggingChat 上的開源模型（如 Llama 3.1、Command R+）能夠調用由社群開發的各種工具，例如圖像生成、網頁抓取、計算機等。開發者可以使用 Python 輕鬆建立並分享工具，使開源 AI 助理具備更強大的 Agent 實用能力。
Tool Use, Unified★ 85
Hugging Face Blog659d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。
Serverless Inference with Hugging Face and NVIDIA NIM★ 82
Hugging Face Blog673d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。