🔥 Trending today
Three Mighty Alerts Supporting Hugging Face’s Production Infrastructure
Hugging Face Blog329d agoTutorialHugging Face 分享了其生產環境基礎設施賴以維持高可用性的三大核心警報機制。面對託管數百萬個模型與數據集的挑戰，Hugging Face 的運維團隊詳細解析了他們如何針對「模型緩存磁碟空間」、「Kubernetes GPU 資源調度瓶頸」以及「基於 SLO 的錯誤預算消耗」進行監控與預警。這些實務經驗對於運行大規模 AI 服務與雲端基礎設施的 MLOps 與 SRE 工程師極具參考價值。
How Hugging Face Scaled Secrets Management for AI Infrastructure★ 70
Hugging Face Blog428d agoCommentary本文深入探討 Hugging Face 如何解決大規模 AI 基礎設施中的金鑰（Secrets）管理挑戰。隨著 Spaces 與模型託管規模爆炸性成長，傳統存取面臨效能瓶頸。Hugging Face 透過架構升級、引入快取機制、信封加密以及與 Kubernetes 深度整合，實現了高併發、低延遲且符合高安全標準的金鑰分發系統。
Deploying 🤗 ViT on Kubernetes with TF Serving
Hugging Face Blog1391d agoTutorial本文詳細說明了將 Hugging Face 的 Vision Transformer (ViT) 模型部署到生產環境的完整流程。內容涵蓋將模型轉換為 TensorFlow SavedModel 格式、配置 TF Serving 服務，以及撰寫 Kubernetes 部署與服務 YAML 檔。最後展示了如何透過 API 進行高效能的圖像分類推理，是 MLOps 工程師將視覺模型落地生產環境的實用指南。