Run Meta Llama 3 with an API★ 75
Replicate Blog775d agoNew ToolMeta 推出全新開源大語言模型 Llama 3，Replicate 平台已同步支援。開發者可透過 Replicate API 快速部署並運行 Llama 3 8B 與 70B 的 Instruct 版本。本文介紹如何使用 Python、JavaScript 或 cURL，僅需一行程式碼即可在雲端進行推理，並享受按秒計費與自動擴展的優勢。
From OpenAI to Open LLMs with Messages API on Hugging Face★ 80
Hugging Face Blog845d agoReleaseHugging Face 宣布其文字生成推論工具（TGI）正式支援與 OpenAI 相容的 Messages API。這意味著開發者可以使用現有的 OpenAI SDK，僅需更改 Base URL 和 API 金鑰，就能直接調用託管在 Hugging Face 上的開源大語言模型（如 Llama、Mistral 等）。TGI 會在後台自動處理繁瑣的聊天模板（Chat Templates）轉換，大幅降低了從閉源轉向開源模型的門檻。
Run Code Llama 70B with an API
Replicate Blog854d agoTutorialMeta 推出的 Code Llama 70B 是目前最強大的開源程式碼生成模型之一。Replicate 現在支援透過 API 託管該模型，讓開發者無需自行管理 GPU 基礎設施。只需一行程式碼，即可在雲端快速呼叫並整合至現有的開發工作流中。
Businesses are building on open-source AI★ 75
Replicate Blog910d agoBusinessAI 模型託管平台 Replicate 宣布完成 4,000 萬美元的 B 輪融資，由知名創投 a16z 領投。這筆資金將用於擴展其雲端基礎設施，幫助更多企業與開發者透過簡單的 API 運行、微調及部署開源 AI 模型。此融資反映出企業級市場對於開源 AI（如 Llama、Stable Diffusion）的需求正迎來爆發性成長。
How to run Yi chat models with an API
Replicate Blog922d agoTutorialYi 系列模型是由「零一萬物 (01.AI)」從頭訓練的大型語言模型，在多項基準測試中表現優異。Replicate 平台已託管 Yi 模型，開發者無需自行配置與維護昂貴的 GPU 基礎設施，即可透過 API 進行調用。本文介紹如何使用 Replicate 的 Python SDK，僅需一行程式碼便能輕鬆在雲端運行 Yi-34B-Chat 等模型，並支援串流輸出。
How to run Mistral 7B with an API
Replicate Blog970d agoTutorialMistral 7B 是由 Mistral AI 推出的高效能開源大型語言模型，在多項基準測試中超越了 Llama 2 13B。 本文詳細說明 Mistral 7B 的核心技術優勢（如分組查詢注意力與滑動窗口注意力），並展示如何利用 Replicate 平台。 開發者只需簡單的 API 呼叫（如 Python 或 Node.js），即可快速將此模型整合至自己的應用程式中。
Inference for PROs★ 70
Hugging Face Blog984d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。
We're cutting our prices in half★ 75
Replicate Blog1021d agoBusinessAI 託管平台 Replicate 宣布重大計費調整：所有公開模型（如 Llama、Stable Diffusion 等）的 API 呼叫價格直接減半（降價 50%）。與此同時，為了平衡伺服器資源成本，未來將開始對新用戶的私有模型（Private Models）在設定（冷啟動）與閒置（Idle）時間進行計費。這項調整旨在降低開源模型使用門檻，同時優化專屬資源的利用率。
Streaming output for language models★ 70
Replicate Blog1023d agoReleaseReplicate 宣布其 API 正式支援伺服器傳送事件（SSE）串流功能。開發者無需等待整個語言模型（LLM）生成完畢，即可即時將文字片段推送到前端。此功能可透過官方 Python 與 JavaScript SDK 輕鬆實現，能有效降低用戶感知的延遲，打造更流暢的 AI 互動體驗。
Run Llama 2 with an API
Replicate Blog1041d agoTutorialReplicate 宣布支援 Meta 的開源大語言模型 Llama 2。開發者現在無需自行管理繁雜的 GPU 基礎設施，只需透過 Replicate 提供的 API，用一行程式碼就能在雲端快速呼叫並運行 Llama 2。這大幅降低了開源模型的使用門檻，讓開發者能更輕鬆地將其整合至應用中。
Run SDXL with an API
Replicate Blog1042d agoTutorialReplicate 宣布支援 Stability AI 的 SDXL 1.0 圖像生成模型。開發者無需自行維護昂貴的 GPU 基礎設施，只需透過簡單的 Python、JavaScript 或 cURL API 呼叫，即可在雲端運行 SDXL 1.0。本指南展示了如何設定提示詞、尺寸等參數，並快速將高品質的 AI 繪圖功能整合至應用程式中。
What happened with Llama 2 in the last 24 hours? 🦙★ 80
Replicate Blog1049d agoReleaseMeta 推出新一代開源大語言模型 Llama 2（包含 7B、13B、70B 參數版本）後，在 AI 社群引發連鎖反應。Replicate 在第一時間託管了這些模型並提供 API 服務。本文彙整了發布後 24 小時內，包含雲端部署、API 呼叫及社群生態的最新進展，展現開源 AI 領域的驚人迭代速度。
Language models are on Replicate
Replicate Blog1154d agoRelease知名 AI 雲端託管平台 Replicate 宣布正式支援大型語言模型（LLMs）。平台已上架包括 Vicuna、Alpaca、Flan-T5 等多款開源模型，並優化了冷啟動時間。開發者現在可以透過簡單的 API 與 SDK，輕鬆在應用程式中整合語言模型的文字生成與串流（Streaming）輸出功能。
An overview of inference solutions on Hugging Face★ 75
Hugging Face Blog1289d agoTutorial本文為 Hugging Face 官方發布的推理（Inference）解決方案指南，系統性介紹了四大核心方案：免費且即開即用的 Serverless Inference API、適合生產環境且安全可控的 Inference Endpoints、用於展示與應用的 Spaces，以及與 AWS/Azure 合作的雲端整合方案。旨在幫助開發者根據預算、延遲與隱私需求，選擇最適合的開源模型部署路徑。
Train and deploy a DreamBooth model on Replicate
Replicate Blog1289d agoNew ToolReplicate 宣布推出 DreamBooth API，大幅簡化了個人化圖像生成模型的訓練流程。開發者只需提供少數幾張特定主體的照片，並透過單次 API 呼叫，就能在雲端自動完成微調。訓練完成的模型會直接託管於 Replicate，並立即提供 API 端點供後續的圖像生成預測使用。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1327d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
Run Stable Diffusion with an API
Replicate Blog1373d agoTutorialReplicate 平台讓開發者能夠透過簡單的 API 呼叫來運行 Stable Diffusion 等開源 AI 模型。 開發者無需自行架設昂貴且複雜的 GPU 基礎設施，只需使用 Python、JavaScript 等 SDK 即可快速整合。 此服務採用按秒計費制，非常適合用於黑客松、獨立開發專案或快速驗證產品原型。
Exploring text to image models
Replicate Blog1415d agoTutorialReplicate 介紹了如何透過其 API 運行文字生成圖片模型。讀者將學習到如何使用 Python 客戶端，只需幾行程式碼即可呼叫雲端託管的 AI 模型，並輸入提示詞（Prompt）來生成影像。這為開發者提供了一個無需本地高階 GPU 即可快速整合圖像生成功能的途徑。