Asynchronous Robot Inference: Decoupling Action Prediction and Execution★ 75
Hugging Face Blog328d agoOpinion傳統機器人控制常受限於 AI 模型推論速度，導致動作不流暢。Hugging Face 提出「非同步機器人推論」架構，將「動作預測（AI 模型）」與「動作執行（硬體控制）」解耦。此方法允許硬體以高頻率（如 100Hz+）持續運行，而較慢的 AI 模型則在背景非同步更新動作指令，大幅提升了機器人在實時環境中的反應速度與操作流暢度。
Upskill your LLMs With Gradio MCP Servers★ 82
Hugging Face Blog329d agoReleaseHugging Face 宣布 Gradio 正式支援 Model Context Protocol (MCP)。開發者現在可以輕鬆將 Gradio 應用程式轉換為 MCP 伺服器，使 Claude 等 LLM 代理能直接調用各種機器學習模型、影像處理或數據分析工具。這項整合極大地擴展了 LLM 的實用技能，並搭起了 LLM 與 Hugging Face 龐大開源生態系之間的橋樑。
Creating custom kernels for the AMD MI300★ 72
Hugging Face Blog329d agoTutorialHugging Face 發布技術指南，介紹如何為 AMD Instinct MI300 系列 GPU 撰寫自訂 Kernel。文章重點介紹利用 OpenAI Triton 框架在 ROCm 生態系中進行開發，讓開發者能用 Python 撰寫高效的 GPU 算子，繞過複雜的 HIP C++。這項技術能顯著提升 LLM 在 AMD 硬體上的推理與訓練效率。
Reachy Mini - The Open-Source Robot for Today's and Tomorrow's AI Builders★ 75
Hugging Face Blog329d agoReleaseHugging Face 與 Pollen Robotics 合作推出全新開源機器人「Reachy Mini」，專為 AI 開發者與研究人員設計。該機器人主打高性價比、易於組裝，並深度整合 Hugging Face 的 LeRobot 開源機器人庫。開發者可輕鬆透過模仿學習（Imitation Learning）訓練 AI 模型，控制實體機器人完成各種操作任務，加速具身智能（Embodied AI）的普及。
SmolLM3: smol, multilingual, long-context reasoner★ 80
Hugging Face Blog330d agoReleaseHugging Face 正式發表 SmolLM3 輕量級模型系列。延續前代小巧好部署的特色，SmolLM3 這次特別強化了「多語言支援」、「長上下文處理」以及「推理能力（Reasoner）」。這使得開發者能在資源受限的設備或本地端，運行具備複雜邏輯推理與長文本理解的多語言 AI 應用。
Efficient MultiModal Data Pipeline★ 75
Hugging Face Blog330d agoNew ToolHugging Face 介紹了「高效多模態資料管線 (MMDP)」的最佳實踐與工具。針對多模態模型（如 VLM）訓練中龐大的資料 I/O 瓶頸，MMDP 結合了延遲解碼、多程序並行處理與流式傳輸技術，顯著提升了影像、影片和音訊資料的處理效率，降低記憶體佔用，是現代多模態 AI 開發者優化訓練流程的必備指南。
Announcing NeurIPS 2025 E2LM Competition: Early Training Evaluation of Language Models
Hugging Face Blog333d agoReleaseHugging Face 與阿聯酋技術創新研究所（TII）聯合宣布 NeurIPS 2025 E2LM 競賽。該競賽聚焦於大語言模型（LLM）的「早期訓練評估」，旨在尋找能在訓練初期（僅消耗少數算力或數據時）即準確預測模型最終表現的方法。這將有助於大幅降低 LLM 研發的算力成本與時間，推動更高效、環保的 AI 開發流程。
Training and Finetuning Sparse Embedding Models with Sentence Transformers★ 75
Hugging Face Blog337d agoTutorialHugging Face 釋出最新指南，介紹如何利用 Sentence Transformers 庫訓練與微調稀疏嵌入（Sparse Embedding）模型。稀疏嵌入（如 SPLADE）能將文本轉化為高維稀疏向量，在保留關鍵字匹配能力的同時具備語意理解力。此更新簡化了訓練流程，讓開發者能輕鬆構建適用於混合檢索（Hybrid Search）的高效檢索系統。
Gemma 3n fully available in the open-source ecosystem!★ 80
Hugging Face Blog342d agoReleaseGoogle 最新推出的 Gemma 3n 模型系列已正式在 Hugging Face 開源社群全面上線。此版本針對端側部署（On-device）與高效能推論進行優化，Hugging Face 生態系已提供完整支援。開發者現在可以無縫使用 Transformers、vLLM、TRL 等工具進行部署、推論與微調，為輕量級與邊緣運算 AI 應用提供了全新的強大選擇。
Transformers backend integration in SGLang★ 75
Hugging Face Blog345d agoRelease高效能 LLM 推理與結構化生成框架 SGLang 宣布正式整合 Hugging Face Transformers 作為其執行後端。此更新讓開發者能直接利用 SGLang 的結構化控制 API（如 gen、select 等）驅動任何 Hugging Face 上的模型，無需等待原生 CUDA 核心適配，為新架構模型的快速原型設計、除錯與相容性測試提供極大便利。
(LoRA) Fine-Tuning FLUX.1-dev on Consumer Hardware★ 80
Hugging Face Blog349d agoTutorial本文介紹如何在消費級硬體（如 RTX 3090/4090）上微調 Black Forest Labs 的 FLUX.1-dev 12B 圖像生成模型。透過 Hugging Face 的 PEFT 與 Diffusers 庫，結合 4-bit QLoRA 量化、梯度檢查點與 8-bit 優化器，開發者能將顯存需求降至 24GB 以下，讓個人創作者也能輕鬆客製化頂級開源圖像模型。
Groq on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog352d agoReleaseHugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。
How Long Prompts Block Other Requests - Optimizing LLM Performance★ 80
Hugging Face Blog355d agoTutorial本文探討 LLM 在處理長 Prompt 時，因 Prefill（預填充）階段佔用大量 GPU 運算，導致其他短請求或生成階段被阻塞的「隊頭阻塞」現象。文章深入分析了 Prefill 與 Decode 階段的資源衝突，並提出分塊預填充（Chunked Prefill）與 Prompt 快取（Prompt Caching）等關鍵優化策略，以在多用戶併發環境下顯著降低延遲並提升吞吐量。
Featherless AI on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog356d agoReleaseHugging Face 宣布與 Featherless AI 合作，將其納入官方推理供應商（Inference Providers）名單。Featherless 專注於無冷啟動的無伺服器（Serverless）推理技術，能高效運行數千種開源與微調模型。開發者現在可以直接在 Hugging Face Hub 上，透過 Featherless 的高效能架構一鍵部署與調用各種利基型模型，大幅降低延遲與維運成本。
Learn the Hugging Face Kernel Hub in 5 Minutes★ 78
Hugging Face Blog356d agoReleaseHugging Face 全新推出 Kernel Hub（hf-kernels），旨在解決深度學習自訂算子碎片化的問題。開發者現在可以像分享模型一樣，在平台上發布、版本控制與下載優化過的 CUDA 或 Triton 算子。這項工具能透過簡單的 API 實現動態編譯與載入，大幅簡化模型推理與訓練的硬體加速流程，是 AI 系統優化工程師的全新利器。
Introducing Training Cluster as a Service - a new collaboration with NVIDIA★ 85
Hugging Face Blog357d agoReleaseHugging Face 宣布與 NVIDIA 合作推出「訓練集群即服務」（Training Cluster as a Service）。這項新服務旨在簡化大規模 AI 模型的訓練流程，讓企業與開發者無需處理繁雜的基礎設施設定，即可直接在 Hugging Face 平台上租用由 NVIDIA 技術支援的高效能 GPU 運算集群，快速進行模型微調與訓練。
KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog364d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
Real-Time AI Sound Generation on Arm: A Personal Tool for Creative Freedom
Hugging Face Blog364d agoRelease本文介紹如何在 Arm 架構硬體（如筆電、手機及邊緣設備）上運行即時 AI 聲音生成模型。透過 Hugging Face 與 Arm 的技術優化，創作者現在能以極低延遲在本地端生成音效，無需依賴昂貴的雲端 GPU。這項突破不僅提升了創作隱私，也為離線互動式媒體與遊戲開發開闢了新路徑。
SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data★ 75
Hugging Face Blog365d agoReleaseHugging Face 發表全新開源模型 SmolVLA，專為具身智能與機器人控制設計。該模型屬於「Smol」輕量化系列，結合視覺、語言與動作（VLA）能力，並完全採用 LeRobot 社群的真實機器人操作數據進行訓練。SmolVLA 的高效能與小體積，讓開發者能在邊緣設備上實現低延遲的機器人視覺決策與控制。
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL★ 85
Hugging Face Blog365d agoReleaseHugging Face 的 TRL 團隊推出與 vLLM 協同部署（Co-located）的新功能。在進行線上強化學習（如 PPO、GRPO）訓練時，生成階段常是效能瓶頸。透過在相同 GPU 上同時運行訓練與 vLLM 推理引擎，此技術能無縫共享權重並利用 vLLM 的高效生成能力，顯著提升 GPU 利用率並縮短整體訓練時間。
CodeAgents + Structure: A Better Way to Execute Actions★ 75
Hugging Face Blog371d agoOpinionHugging Face 探討了將「結構化約束（Structure）」引入 Code Agent 的全新設計範式。傳統 Code Agent 透過撰寫 Python 程式碼來執行任務，雖具備極高的靈活性，但自由度過高也容易帶來語法錯誤與安全隱憂。新方法透過結合 Pydantic 驗證、結構化解碼與型別限制，讓 Agent 在保有程式碼強大表達力的同時，確保輸出與行為的預測性與安全性，大幅提升複雜任務的執行成功率。
🐯 Liger GRPO meets TRL★ 82
Hugging Face Blog374d agoNew ToolHugging Face 的 TRL 團隊宣布與 LinkedIn 開源的 Liger Kernel 整合。此合作針對當前熱門的 GRPO（群體相對策略優化）演算法進行深度優化，能顯著降低訓練時的 GPU 顯存佔用並提升吞吐量。這讓開發者在訓練類似 DeepSeek-R1 的推理模型時，能用更低的硬體門檻實現更高效的強化學習微調。
Tiny Agents in Python: a MCP-powered agent in ~70 lines of code★ 80
Hugging Face Blog376d agoTutorialHugging Face 推出全新教學，教導開發者如何使用約 70 行 Python 程式碼構建一個由 MCP（模型上下文協定）驅動的微型 Agent。此方法擺脫了傳統繁重框架的束縛，直接展示了 Agent 的核心運作邏輯。透過 MCP，這個微型 Agent 能輕鬆連接並調用外部工具與資料源，極大地降低了開發與理解 AI Agent 的門檻。
Dell Enterprise Hub is all you need to build AI on premises★ 75
Hugging Face Blog376d agoReleaseHugging Face 與 Dell 合作推出 Dell Enterprise Hub，旨在簡化企業在本地端（on-premises）部署 AI 模型的流程。該平台整合了 Dell 的硬體優勢與 Hugging Face 的豐富模型庫，提供經優化的容器與自動化工作流。這讓企業能在確保數據安全與合規的前提下，輕鬆在自家伺服器上運行 Llama、Mistral 等主流開源模型。
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance★ 75
Hugging Face Blog377d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上發布了全新的 Falcon-H1 系列模型。該系列主打「混合頭（Hybrid-Head）」架構，旨在解決傳統 Transformer 模型在處理長文本時的運算瓶頸。透過結合不同的注意力機制或序列處理技術，Falcon-H1 成功在推論效率、記憶體佔用與模型性能之間取得全新平衡，為開源 AI 社群注入高效能的新選擇。
Falcon-Arabic: A Breakthrough in Arabic Language Models
Hugging Face Blog377d agoRelease阿布達比技術創新研究所（TII）在 Hugging Face 上發布了專為阿拉伯語設計的 Falcon-Arabic 模型。該模型旨在解決阿拉伯語在自然語言處理（NLP）中因複雜語法與方言多樣性帶來的挑戰。作為開源 Falcon 家族的新成員，Falcon-Arabic 將為中東及全球開發者提供更精準、高效的阿拉伯語 AI 解決方案。
nanoVLM: The simplest repository to train your VLM in pure PyTorch★ 75
Hugging Face Blog378d agoReleaseHugging Face 發表了 nanoVLM 專案，旨在提供一個最簡單、無冗餘程式碼的純 PyTorch 框架，讓開發者與研究人員能輕鬆理解並動手訓練自己的視覺語言模型（VLM）。該專案仿照 nanoGPT 的極簡風格，去除了複雜的封裝，完整展示了從圖像編碼器、投影層到語言模型的整合與訓練流程，是學習與實驗 VLM 的絕佳起點。
Exploring Quantization Backends in Diffusers★ 80
Hugging Face Blog378d agoTutorialHugging Face 發布技術指南，深入比較 `diffusers` 庫中 bitsandbytes、torchao 等量化後端。文章分析了不同量化格式（如 NF4、INT8、INT4）在 VRAM 佔用、推理速度與圖像品質上的權衡，為在消費級顯卡上部署 Flux.1 或 SD3 等大型擴散模型提供實用指引。這對於希望在有限硬體資源下優化生成式 AI 應用的開發者而言是必讀內容。
Announcing Gemma 3n preview: Powerful, efficient, mobile-first AI★ 78
Google DeepMind Blog378d agoReleaseGoogle DeepMind 發表全新開放模型 Gemma 3n 預覽版，專為行動裝置與端側（on-device）快速多模態 AI 設計。該模型不僅優化了執行效能，還引入獨特的「二合一（2-in-1）」彈性架構，並擴展了對音訊的理解能力。這將賦能開發者構建即時互動、以語音為核心的全新應用體驗。
Microsoft and Hugging Face expand collaboration★ 75
Hugging Face Blog380d agoBusinessMicrosoft 與 Hugging Face 宣布深化合作，將 Hugging Face 的開源模型庫與 Azure AI Foundry（前身為 Azure AI Studio）進行深度整合。開發者現在可以直接在 Azure 安全且具備合規性的企業級環境中，輕鬆搜尋、部署與微調數十萬個 Hugging Face 的開源模型，大幅簡化企業導入開源 AI 的工作流程。