Meta 推出最強開源模型 Llama 3.1 405B,Replicate 隨即宣布全面支援其 API 運行。開發者無需自行準備昂貴的 GPU 基礎設施,即可透過 Replicate 的雲端平台,以極低的延遲與簡單的一行程式碼整合該模型。此服務支援 128k 脈絡長度,並提供結構化輸出等功能,大幅降低了企業與開發者應用頂級開源 AI 的門檻。
Snowflake 推出全新開源企業級大語言模型 Arctic,採用 MoE(混合專家)架構。Replicate 迅速跟進,提供託管 API 服務。開發者現在無需自行配置昂貴的 GPU 硬體,只需透過 Replicate 的 API 或 SDK,即可用極低的成本與簡單的程式碼,在雲端部署並運行這款強大的開源模型。
Yi 系列模型是由「零一萬物 (01.AI)」從頭訓練的大型語言模型,在多項基準測試中表現優異。Replicate 平台已託管 Yi 模型,開發者無需自行配置與維護昂貴的 GPU 基礎設施,即可透過 API 進行調用。本文介紹如何使用 Replicate 的 Python SDK,僅需一行程式碼便能輕鬆在雲端運行 Yi-34B-Chat 等模型,並支援串流輸出。
AI 託管平台 Replicate 宣布重大計費調整:所有公開模型(如 Llama、Stable Diffusion 等)的 API 呼叫價格直接減半(降價 50%)。與此同時,為了平衡伺服器資源成本,未來將開始對新用戶的私有模型(Private Models)在設定(冷啟動)與閒置(Idle)時間進行計費。這項調整旨在降低開源模型使用門檻,同時優化專屬資源的利用率。
Replicate 宣布支援 Meta 的開源大語言模型 Llama 2。開發者現在無需自行管理繁雜的 GPU 基礎設施,只需透過 Replicate 提供的 API,用一行程式碼就能在雲端快速呼叫並運行 Llama 2。這大幅降低了開源模型的使用門檻,讓開發者能更輕鬆地將其整合至應用中。