Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
OpenAI-compatible API endpoints now supported in AI Gateway★ 75
Vercel Changelog316d agoReleaseVercel 宣布其 AI Gateway 正式支援相容 OpenAI 的 API 端點。這項更新讓開發者能夠透過統一的 Gateway 介面，輕鬆整合並管理如 DeepSeek、Groq、Together AI 等提供 OpenAI 相容格式的第三方 AI 服務。開發者不僅能簡化多模型部署的架構，還能同時享有 Vercel AI Gateway 提供的快取、速率限制與監控功能。
Generate consistent characters★ 75
Replicate Blog317d agoTutorialAI 平台 Replicate 針對「角色一致性」這一 AI 繪圖痛點進行了深度評測。文章比較了多種主流圖像模型與技術（如 IP-Adapter、InstantID 等），評估它們在僅憑單張參考圖片下，生成相同角色在不同場景、姿勢與表情時的表現。這為需要製作繪本、遊戲角色或品牌代言人的創作者提供了實用的模型選擇與技術指南。
Consilium: When Multiple LLMs Collaborate★ 75
Hugging Face Blog321d agoOpinionHugging Face 發表關於「Consilium」的多 LLM 協作技術探討。隨著單一模型的能力逐漸遇到瓶頸，讓多個不同專長、不同尺寸的 LLM 協同工作（如合議制、辯論或 Mixture of Agents）成為提升 AI 系統魯棒性的關鍵。本文深入解析多模型協作的架構設計、共識機制以及其在降低幻覺與控制成本上的優勢。
Ettin Suite: SoTA Paired Encoders and Decoders★ 75
Hugging Face Blog322d agoReleaseHugging Face 發表全新的 Ettin Suite，這是一系列最先進（SoTA）的成對編碼器與解碼器（Paired Encoders and Decoders）模型。該套件旨在解決傳統雙向與單向模型在表徵學習與序列生成之間的斷層，提供更緊密的語意對齊。Ettin 在多項檢索（RAG）與生成基準測試中表現優異，並完全開源供社群使用。
The AI Cloud: A unified platform for AI workloads★ 85
Vercel Changelog327d agoReleaseVercel 宣布推出「AI Cloud」統一平台，旨在解決 AI 應用開發中基礎設施碎片化的痛點。該平台深度整合了 Vercel AI SDK，提供動態模型路由、智慧快取與無伺服器 GPU 運算能力。開發者現在可以從前端 UI（結合 v0）到後端 AI 邏輯、監控與擴展，在同一個生態系中高效完成，大幅降低構建生產級 AI 應用的門檻與成本。
Kimina-Prover: Applying Test-time RL Search on Large Formal Reasoning Models★ 82
Hugging Face Blog327d agoReleaseHugging Face 的 AI-MO 團隊發表 Kimina-Prover，這是一項針對大型形式化推理模型的創新研究。該系統在推理階段（Test-time）引入強化學習搜尋機制，讓模型在面對複雜數學證明時能動態探索與自我修正。透過與形式化證明工具互動，Kimina-Prover 顯著提升了自動定理證明的成功率，為開源數學推理 AI 帶來重大突破。
Building the Hugging Face MCP Server★ 82
Hugging Face Blog328d agoNew ToolHugging Face 宣布推出其 Model Context Protocol (MCP) 伺服器。這項工具讓支援 MCP 的 AI 客戶端（如 Claude Desktop、Cursor）能夠直接與 Hugging Face Hub 互動。使用者可以直接在對話中搜尋熱門模型、查詢資料集結構與讀取 Model Card，大幅簡化了 AI 開發者與研究人員的工作流程。
ScreenEnv: Deploy your full stack Desktop Agent★ 82
Hugging Face Blog328d agoNew ToolHugging Face 介紹了 ScreenEnv，這是一個旨在簡化「電腦使用（Computer Use）」AI 代理部署的開源環境。它提供類似 Gym 的標準化接口，讓開發者能在安全的虛擬桌面（如 Docker/VM）中，利用多模態模型（如 Claude 或 GPT）進行滑鼠、鍵盤與螢幕視覺的完整互動，非常適合開發自動化工作流與 GUI 代理。
Asynchronous Robot Inference: Decoupling Action Prediction and Execution★ 75
Hugging Face Blog328d agoOpinion傳統機器人控制常受限於 AI 模型推論速度，導致動作不流暢。Hugging Face 提出「非同步機器人推論」架構，將「動作預測（AI 模型）」與「動作執行（硬體控制）」解耦。此方法允許硬體以高頻率（如 100Hz+）持續運行，而較慢的 AI 模型則在背景非同步更新動作指令，大幅提升了機器人在實時環境中的反應速度與操作流暢度。
Upskill your LLMs With Gradio MCP Servers★ 82
Hugging Face Blog329d agoReleaseHugging Face 宣布 Gradio 正式支援 Model Context Protocol (MCP)。開發者現在可以輕鬆將 Gradio 應用程式轉換為 MCP 伺服器，使 Claude 等 LLM 代理能直接調用各種機器學習模型、影像處理或數據分析工具。這項整合極大地擴展了 LLM 的實用技能，並搭起了 LLM 與 Hugging Face 龐大開源生態系之間的橋樑。
Creating custom kernels for the AMD MI300★ 72
Hugging Face Blog329d agoTutorialHugging Face 發布技術指南，介紹如何為 AMD Instinct MI300 系列 GPU 撰寫自訂 Kernel。文章重點介紹利用 OpenAI Triton 框架在 ROCm 生態系中進行開發，讓開發者能用 Python 撰寫高效的 GPU 算子，繞過複雜的 HIP C++。這項技術能顯著提升 LLM 在 AMD 硬體上的推理與訓練效率。
Reachy Mini - The Open-Source Robot for Today's and Tomorrow's AI Builders★ 75
Hugging Face Blog329d agoReleaseHugging Face 與 Pollen Robotics 合作推出全新開源機器人「Reachy Mini」，專為 AI 開發者與研究人員設計。該機器人主打高性價比、易於組裝，並深度整合 Hugging Face 的 LeRobot 開源機器人庫。開發者可輕鬆透過模仿學習（Imitation Learning）訓練 AI 模型，控制實體機器人完成各種操作任務，加速具身智能（Embodied AI）的普及。
SmolLM3: smol, multilingual, long-context reasoner★ 80
Hugging Face Blog330d agoReleaseHugging Face 正式發表 SmolLM3 輕量級模型系列。延續前代小巧好部署的特色，SmolLM3 這次特別強化了「多語言支援」、「長上下文處理」以及「推理能力（Reasoner）」。這使得開發者能在資源受限的設備或本地端，運行具備複雜邏輯推理與長文本理解的多語言 AI 應用。
Efficient MultiModal Data Pipeline★ 75
Hugging Face Blog330d agoNew ToolHugging Face 介紹了「高效多模態資料管線 (MMDP)」的最佳實踐與工具。針對多模態模型（如 VLM）訓練中龐大的資料 I/O 瓶頸，MMDP 結合了延遲解碼、多程序並行處理與流式傳輸技術，顯著提升了影像、影片和音訊資料的處理效率，降低記憶體佔用，是現代多模態 AI 開發者優化訓練流程的必備指南。
Compare AI video models★ 78
Replicate Blog331d agoTutorial隨著開源 AI 影片模型快速迭代，Replicate 發布了全面的比較指南。文章針對目前主流的開源影片模型（如 HunyuanVideo、Wan2.1、Mochi 1 與 LTX-Video）進行多維度評測，包含生成速度、畫面精細度、動態流暢度及授權條款。這份指南旨在幫助開發者與創意工作者根據自身預算與應用場景，快速挑選出最合適的影片生成 API。
Announcing NeurIPS 2025 E2LM Competition: Early Training Evaluation of Language Models
Hugging Face Blog333d agoReleaseHugging Face 與阿聯酋技術創新研究所（TII）聯合宣布 NeurIPS 2025 E2LM 競賽。該競賽聚焦於大語言模型（LLM）的「早期訓練評估」，旨在尋找能在訓練初期（僅消耗少數算力或數據時）即準確預測模型最終表現的方法。這將有助於大幅降低 LLM 研發的算力成本與時間，推動更高效、環保的 AI 開發流程。
The FLUX.1 Kontext hackathon
Replicate Blog337d agoReleaseReplicate 宣布與 Black Forest Labs（BFL）合作舉辦的 FLUX.1 Kontext 黑客松圓滿落幕。本次活動旨在鼓勵開發者利用 FLUX.1 圖像生成模型，在 Replicate 平台上開發創新的上下文相關（Context）圖像生成應用。獲獎作品展示了 FLUX.1 在圖像編輯、控制與創意生成方面的強大潛力。
Training and Finetuning Sparse Embedding Models with Sentence Transformers★ 75
Hugging Face Blog337d agoTutorialHugging Face 釋出最新指南，介紹如何利用 Sentence Transformers 庫訓練與微調稀疏嵌入（Sparse Embedding）模型。稀疏嵌入（如 SPLADE）能將文本轉化為高維稀疏向量，在保留關鍵字匹配能力的同時具備語意理解力。此更新簡化了訓練流程，讓開發者能輕鬆構建適用於混合檢索（Hybrid Search）的高效檢索系統。
Gemma 3n fully available in the open-source ecosystem!★ 80
Hugging Face Blog342d agoReleaseGoogle 最新推出的 Gemma 3n 模型系列已正式在 Hugging Face 開源社群全面上線。此版本針對端側部署（On-device）與高效能推論進行優化，Hugging Face 生態系已提供完整支援。開發者現在可以無縫使用 Transformers、vLLM、TRL 等工具進行部署、推論與微調，為輕量級與邊緣運算 AI 應用提供了全新的強大選擇。
Transformers backend integration in SGLang★ 75
Hugging Face Blog345d agoRelease高效能 LLM 推理與結構化生成框架 SGLang 宣布正式整合 Hugging Face Transformers 作為其執行後端。此更新讓開發者能直接利用 SGLang 的結構化控制 API（如 gen、select 等）驅動任何 Hugging Face 上的模型，無需等待原生 CUDA 核心適配，為新架構模型的快速原型設計、除錯與相容性測試提供極大便利。
(LoRA) Fine-Tuning FLUX.1-dev on Consumer Hardware★ 80
Hugging Face Blog349d agoTutorial本文介紹如何在消費級硬體（如 RTX 3090/4090）上微調 Black Forest Labs 的 FLUX.1-dev 12B 圖像生成模型。透過 Hugging Face 的 PEFT 與 Diffusers 庫，結合 4-bit QLoRA 量化、梯度檢查點與 8-bit 優化器，開發者能將顯存需求降至 24GB 以下，讓個人創作者也能輕鬆客製化頂級開源圖像模型。
Groq on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog352d agoReleaseHugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。
Building efficient MCP servers★ 75
Vercel Changelog355d agoTutorialVercel 發布指南，探討如何高效構建與部署模型上下文協定（MCP）伺服器。 文章重點介紹如何利用 Vercel Serverless Functions 託管 MCP，並透過伺服器傳送事件（SSE）實現雙向通訊。 同時提供優化冷啟動、確保端點安全，以及將 MCP 伺服器無縫整合至 Cursor 或 Claude 等 AI 工具的實務建議。
How Long Prompts Block Other Requests - Optimizing LLM Performance★ 80
Hugging Face Blog355d agoTutorial本文探討 LLM 在處理長 Prompt 時，因 Prefill（預填充）階段佔用大量 GPU 運算，導致其他短請求或生成階段被阻塞的「隊頭阻塞」現象。文章深入分析了 Prefill 與 Decode 階段的資源衝突，並提出分塊預填充（Chunked Prefill）與 Prompt 快取（Prompt Caching）等關鍵優化策略，以在多用戶併發環境下顯著降低延遲並提升吞吐量。
Featherless AI on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog356d agoReleaseHugging Face 宣布與 Featherless AI 合作，將其納入官方推理供應商（Inference Providers）名單。Featherless 專注於無冷啟動的無伺服器（Serverless）推理技術，能高效運行數千種開源與微調模型。開發者現在可以直接在 Hugging Face Hub 上，透過 Featherless 的高效能架構一鍵部署與調用各種利基型模型，大幅降低延遲與維運成本。
Learn the Hugging Face Kernel Hub in 5 Minutes★ 78
Hugging Face Blog356d agoReleaseHugging Face 全新推出 Kernel Hub（hf-kernels），旨在解決深度學習自訂算子碎片化的問題。開發者現在可以像分享模型一樣，在平台上發布、版本控制與下載優化過的 CUDA 或 Triton 算子。這項工具能透過簡單的 API 實現動態編譯與載入，大幅簡化模型推理與訓練的硬體加速流程，是 AI 系統優化工程師的全新利器。
Introducing Training Cluster as a Service - a new collaboration with NVIDIA★ 85
Hugging Face Blog357d agoReleaseHugging Face 宣布與 NVIDIA 合作推出「訓練集群即服務」（Training Cluster as a Service）。這項新服務旨在簡化大規模 AI 模型的訓練流程，讓企業與開發者無需處理繁雜的基礎設施設定，即可直接在 Hugging Face 平台上租用由 NVIDIA 技術支援的高效能 GPU 運算集群，快速進行模型微調與訓練。
KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog364d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
Real-Time AI Sound Generation on Arm: A Personal Tool for Creative Freedom
Hugging Face Blog364d agoRelease本文介紹如何在 Arm 架構硬體（如筆電、手機及邊緣設備）上運行即時 AI 聲音生成模型。透過 Hugging Face 與 Arm 的技術優化，創作者現在能以極低延遲在本地端生成音效，無需依賴昂貴的雲端 GPU。這項突破不僅提升了創作隱私，也為離線互動式媒體與遊戲開發開闢了新路徑。