Hugging Face 推出全新整合功能,允許用戶將 Meta 的 Llama 3.1 405B 模型直接部署至 Google Cloud Vertex AI。此舉簡化了超大型開源模型的企業級部署流程,提供高擴展性與安全性。開發者可透過 Hugging Face Hub 或 Vertex AI Model Garden 輕鬆啟用,並利用 Google Cloud 的強大算力(如 H100 GPU 或 TPU)進行高效推理。
Replicate 發布第 8 期技術情報。本次更新重點包括:全面支援 Meta 最新發布的頂級開源模型 Llama 3.1(包含 405B 旗艦模型);推出全新的安全分類器(如 Llama Guard 3),協助開發者過濾有害內容;以及正式開放「模型搜尋 API」,讓開發者能透過程式碼輕鬆檢索與篩選 Replicate 上的數萬個 AI 模型。
Meta 推出最強開源模型 Llama 3.1 405B,Replicate 隨即宣布全面支援其 API 運行。開發者無需自行準備昂貴的 GPU 基礎設施,即可透過 Replicate 的雲端平台,以極低的延遲與簡單的一行程式碼整合該模型。此服務支援 128k 脈絡長度,並提供結構化輸出等功能,大幅降低了企業與開發者應用頂級開源 AI 的門檻。