Python Vercel Functions bundle size limit increased to 500MB★ 75
Vercel Changelog98d agoReleaseVercel 宣布將 Python Vercel Functions 的打包大小（Bundle Size）限制提高至 500MB。這項更新解決了過去 Python 開發者在部署大型依賴庫（如 NumPy、Pandas 或輕量 AI 模型）時常遇到的容量限制痛點。現在開發者可以更輕鬆地在 Vercel 上構建與部署功能豐富的 Python 後端與 AI 應用，無需再為套件體積過大而煩惱。
Anyone can build agents, but it takes a platform to run them★ 75
Vercel Changelog113d agoOpinionVercel 探討 AI Agent 從開發到生產環境的關鍵痛點。雖然現今開發 Agent 難度降低，但運行時面臨 Serverless 超時、複雜狀態管理、即時串流（Streaming）以及工具調用監控等挑戰。Vercel 強調，唯有透過完善的平台基礎設施（如 Vercel AI SDK 與其託管服務），才能真正釋放 Agent 的商業價值。
Torch compile caching for inference speed★ 75
Replicate Blog267d agoTutorialPyTorch 的 torch.compile 能顯著提升模型推論速度，但首次編譯的「冷啟動」時間往往令人頭痛。Replicate 介紹了如何透過快取（Caching）編譯後的模型成品，避免每次容器啟動時重複編譯。這項技術能有效縮短伺服器無預載（Serverless）部署時的啟動延遲，讓開發者在享受高效能推論的同時，也能擁有極速的部署與反應時間。
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
Dell Enterprise Hub is all you need to build AI on premises★ 75
Hugging Face Blog375d agoReleaseHugging Face 與 Dell 合作推出 Dell Enterprise Hub，旨在簡化企業在本地端（on-premises）部署 AI 模型的流程。該平台整合了 Dell 的硬體優勢與 Hugging Face 的豐富模型庫，提供經優化的容器與自動化工作流。這讓企業能在確保數據安全與合規的前提下，輕鬆在自家伺服器上運行 Llama、Mistral 等主流開源模型。
Hugging Face and FriendliAI partner to supercharge model deployment on the Hub★ 70
Hugging Face Blog496d agoReleaseHugging Face 宣布與 FriendliAI 建立合作夥伴關係，旨在加速 Hugging Face Hub 上的模型部署。透過整合 FriendliAI 的高效能推理技術，開發者將能以更低的延遲和更低的成本部署大型語言模型（LLM）。此合作簡化了從 Hub 到生產環境的部署流程，為企業提供更具成本效益的 AI 服務方案。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Deploying Speech-to-Speech on Hugging Face★ 75
Hugging Face Blog588d agoTutorialHugging Face 發布技術教學，介紹如何在 Inference Endpoints 上部署語音對語音（Speech-to-Speech, S2S）模型。透過自訂 EndpointHandler 與串流（Streaming）技術，開發者可以實現低延遲的即時語音互動。本文以開源的 Mini-Omni 模型為例，展示了從環境設定、撰寫自訂推論邏輯到部署至 GPU 節點的完整流程。
Google Cloud TPUs made available to Hugging Face users★ 75
Hugging Face Blog693d agoReleaseHugging Face 與 Google Cloud 合作，正式將 TPU（如 TPU v5e）引入其平台。用戶現在可以在 Hugging Face Spaces 和 Inference Endpoints 中直接選擇 TPU 作為硬體加速器。這項整合為部署大型語言模型和擴散模型提供了極具性價比的 GPU 替代方案，大幅降低了雲端推理的成本與門檻。
Build AI on premise with Dell Enterprise Hub★ 75
Hugging Face Blog742d agoReleaseHugging Face 與 Dell 聯手推出 Dell Enterprise Hub，旨在簡化企業在地端（On-Premise）部署 AI 模型的流程。該平台提供針對 Dell PowerEdge 等硬體優化的容器與主流開源模型（如 Llama 3、Mistral），確保高效能與安全性。企業用戶可直接在熟悉的 Dell 基礎設施中一鍵部署、微調開源模型，完美解決資料隱私與合規性痛點。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog952d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1064d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
Deploy Livebook notebooks as apps to Hugging Face Spaces
Hugging Face Blog1083d agoNew ToolHugging Face 與 Livebook 合作，現在開發者可以直接將 Elixir 的 Livebook 互動式筆記本一鍵部署至 Hugging Face Spaces。這項功能讓 Elixir 社群能更輕鬆地展示機器學習模型與互動式儀表板。透過 Docker 模板，使用者無需複雜設定即可託管並分享他們的 Elixir AI 專案，進一步擴大 Elixir 在 AI 生態系的影響力。
How to host a Unity game in a Space
Hugging Face Blog1138d agoTutorialHugging Face 官方發布教學，指導開發者如何將 Unity 遊戲部署至 Hugging Face Spaces。透過將 Unity 專案匯出為 WebGL 格式，並利用 Spaces 的 Docker 或靜態網頁託管功能，開發者可以輕鬆在平台上展示結合 AI 技術的互動式 3D 遊戲與 Demo，促進 AI 與遊戲開發的結合。
Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too
Hugging Face Blog1203d agoOpinionMantis NLP 團隊分享了他們將 NLP 模型部署全面轉向 Hugging Face Inference Endpoints 的實戰經驗。相較於傳統自建 AWS SageMaker 或 EC2 基礎設施，Hugging Face 提供極低的維護門檻、靈活的自動縮放（包括縮減至零）以及極具競爭力的價格。這項轉變不僅大幅縮短了產品上線時間，也讓團隊能更專注於模型本身的研發而非繁雜的運維工作。
An overview of inference solutions on Hugging Face★ 75
Hugging Face Blog1289d agoTutorial本文為 Hugging Face 官方發布的推理（Inference）解決方案指南，系統性介紹了四大核心方案：免費且即開即用的 Serverless Inference API、適合生產環境且安全可控的 Inference Endpoints、用於展示與應用的 Spaces，以及與 AWS/Azure 合作的雲端整合方案。旨在幫助開發者根據預算、延遲與隱私需求，選擇最適合的開源模型部署路徑。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1327d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
Deploying 🤗 ViT on Vertex AI
Hugging Face Blog1383d agoTutorial本文詳細說明如何將 Hugging Face 的 ViT (Vision Transformer) 模型部署至 Google Cloud Vertex AI。步驟包含編寫自定義預測腳本、打包 Docker 容器、將模型註冊至 Model Registry，並最終部署到端點進行即時線上推論，是電腦視覺模型落地的實用指南。
Deploying TensorFlow Vision Models in Hugging Face with TF Serving
Hugging Face Blog1408d agoTutorial本教學詳細說明如何將 Hugging Face 平台上的 TensorFlow 電腦視覺模型（如 ViT）導出為 SavedModel 格式。接著，展示如何利用 TensorFlow Serving (TF Serving) 搭配 Docker 進行模型部署，並透過 REST API 進行高效能的影像分類推論，為開發者提供一套將研發成果轉化為生產線服務的標準流程。
Director of Machine Learning Insights
Hugging Face Blog1497d agoOpinion本報告源自 Hugging Face 針對多位企業機器學習主管（Director of ML）的調查與訪談。內容指出，將模型從實驗室原型轉化為穩定生產服務（Deployment Gap）仍是企業最大痛點。主管們強調了 MLOps 工具鏈整合、開源模型在企業級應用的崛起，以及跨團隊（數據科學與軟體工程）協作與人才招募的持續挑戰。
Showcase Your Projects in Spaces using Gradio★ 75
Hugging Face Blog1701d agoReleaseHugging Face 宣布在 Spaces 平台正式支援 Gradio，開發者現在可以輕鬆將機器學習模型轉化為具備美觀 UI 的互動式網頁應用。只需撰寫簡單的 Python 程式碼，即可將專案託管於 Spaces 並產生分享連結。這項整合大幅降低了 AI 專案展示的門檻，促進了開源社群的交流與模型體驗。
Hosting your Models and Datasets on Hugging Face Spaces using Streamlit★ 70
Hugging Face Blog1701d agoNew ToolHugging Face 宣布在其平台推出 Spaces 服務，並原生支援熱門的 Python 網頁框架 Streamlit。開發者只需撰寫簡單的 Python 程式碼，即可將 Hugging Face 上的模型與資料集轉化為具備互動介面的 Web 應用。透過 Git 工作流，開發者能輕鬆部署、分享並與社群共同協作，極大降低了 AI 專案展示的門檻。
Deploy Hugging Face models easily with Amazon SageMaker
Hugging Face Blog1790d agoReleaseHugging Face 宣布與 AWS 深度整合，推出專屬的 SageMaker 深度學習容器（DLC）。開發者現在可以直接利用 SageMaker Python SDK，將 Hugging Face Hub 上的數萬個預訓練模型一鍵部署至託管的 SageMaker 端點。這項合作大幅簡化了 NLP 模型的正式生產環境部署流程，並兼顧了 AWS 的安全與彈性擴展優勢。