Hugging Face 推出全新微服務 HUGS(Hugging Face Microservices),旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器,支援 Llama、Mistral 等熱門模型,並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合,在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Replicate 推出新工具 AutoCog,旨在簡化機器學習模型的打包流程。使用者只需提供含有模型程式碼的目錄,AutoCog 就能利用 GPT-4 自動編寫並修正 predict.py 和 cog.yaml。它會透過「執行、報錯、修正」的循環,直到模型能順利執行預測,大幅降低將模型部署至 Replicate 或 Docker 容器的門檻。
本教學詳細說明如何將 Hugging Face 平台上的 TensorFlow 電腦視覺模型(如 ViT)導出為 SavedModel 格式。接著,展示如何利用 TensorFlow Serving (TF Serving) 搭配 Docker 進行模型部署,並透過 REST API 進行高效能的影像分類推論,為開發者提供一套將研發成果轉化為生產線服務的標準流程。