🔥 Trending today
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Deploying 🤗 ViT on Vertex AI
Hugging Face Blog1383d agoTutorial本文詳細說明如何將 Hugging Face 的 ViT (Vision Transformer) 模型部署至 Google Cloud Vertex AI。步驟包含編寫自定義預測腳本、打包 Docker 容器、將模型註冊至 Model Registry，並最終部署到端點進行即時線上推論，是電腦視覺模型落地的實用指南。
My Journey to a serverless transformers pipeline on Google Cloud
Hugging Face Blog1902d agoTutorial本文記錄了作者將 Hugging Face Transformers 管道部署至 Google Cloud Serverless 環境的完整過程。內容涵蓋如何將 NLP 模型包裝成 API、利用 Docker 進行容器化，並解決 Serverless 部署中常見的冷啟動與記憶體限制問題。這是一份適合想降低維護成本、實現自動擴展的開發者的實用指南。