Agent responsibly★ 75
Vercel Changelog64d agoOpinionVercel 針對日益普及的 AI Agent 開發提出「Agent responsibly」倡議。文章聚焦於開發者在部署 Agent 時面臨的挑戰，包括無限循環、高昂成本、安全漏洞（如提示詞注入）以及用戶隱私問題。Vercel 結合其 AI SDK 與平台特性，提供了防護欄（Guardrails）、速率限制、可觀測性等實用解決方案，幫助開發者構建既強大又安全的 Agent 應用。
GPT 5.4 is now on AI Gateway★ 75
Vercel Changelog89d agoReleaseVercel 於 Changelog 宣布其 AI Gateway 服務已正式加入對 OpenAI 最新 GPT 5.4 模型的支援。開發者現在可以透過 Vercel 的統一 API 介面，輕鬆呼叫 GPT 5.4，並享有 AI Gateway 提供的自動重試、快取、速率限制（Rate Limiting）以及詳細的用量監控功能。這項更新將幫助開發者更安全、高效地將 GPT 5.4 整合至其 Web 應用程式中。
GPT 5.3 Chat is now on AI Gateway★ 75
Vercel Changelog91d agoReleaseVercel 於 Changelog 宣布，其 AI Gateway 服務已正式支援 GPT 5.3 Chat 模型。開發者現在可以透過 Vercel AI Gateway 輕鬆管理、快取、監控並限制對 GPT 5.3 Chat 的 API 請求，簡化了將最新一代 OpenAI 模型整合至 Web 應用程式的流程，並提升了效能與成本控制能力。
Introducing Daggr: Chain apps programmatically, inspect visually★ 75
Hugging Face Blog124d agoNew ToolHugging Face 發表全新開源工具 Daggr，旨在解決 AI 應用（如 LLM 鏈、Agent 工作流）開發中的痛點。開發者可以用純程式碼（Programmatic）定義複雜的有向無環圖（DAG）工作流，同時透過直觀的視覺化介面（Visual Inspection）進行執行追蹤與除錯。這項工具完美結合了程式碼的靈活性與視覺化工具的易讀性。
Access Perplexity Web Search on Vercel AI Gateway with any model★ 75
Vercel Changelog139d agoReleaseVercel 宣布其 AI Gateway 現在支援將 Perplexity Web Search 整合至任何模型中。開發者不再受限於特定模型，即可在 API 呼叫中無縫加入即時網頁搜尋結果作為上下文。這項更新大幅簡化了 RAG（檢索增強生成）與即時搜尋應用的實作流程，提升了應用的資訊時效性。
GPT 5.2 Codex now available on Vercel AI Gateway★ 75
Vercel Changelog139d agoReleaseVercel 宣布其 AI Gateway 正式支援 OpenAI 最新推出的 GPT 5.2 Codex 模型。開發者現在可以透過統一的 API 介面輕鬆整合此代碼生成模型，並享有 Vercel 提供的快取、速率限制與調用監控等功能。這將大幅降低開發者在構建 AI 輔助編程應用時的基礎設施維護成本與延遲。
We removed 80% of our agent’s tools★ 85
Vercel Changelog162d agoOpinionVercel 在建構生產級 AI Agent 時發現，給予過多工具會導致模型混淆、延遲飆升與成本暴增。他們透過「動態工具載入」、「多 Agent 架構」與「程式碼硬編碼路由」等策略，成功精簡了 80% 的工具。這項優化不僅讓 Agent 的任務成功率顯著提升，更大幅改善了用戶體驗，證明了在 AI 應用開發中「少即是多」的硬道理。
GPT 5.2 models now available on Vercel AI Gateway★ 75
Vercel Changelog173d agoReleaseVercel 宣布其 AI Gateway 已正式支援 OpenAI 的 GPT 5.2 系列模型。開發者現在可以透過 Vercel 的統一 API 介面，輕鬆將 GPT 5.2 整合至應用程式中，並享有 AI Gateway 提供的自動重試、快取、速率限制以及詳細的用量監控功能，大幅簡化了新世代大語言模型的部署與運維流程。
Nova 2 Lite now available on Vercel AI Gateway
Vercel Changelog181d agoReleaseVercel 宣布其 AI Gateway 正式支援 Nova 2 Lite 模型。開發者現在可以利用 Vercel AI Gateway 的統一 API 介面、快取（Caching）、速率限制（Rate Limiting）以及詳細的分析監控功能，更輕鬆地在 Vercel 平台上部署與管理基於 Nova 2 Lite 的 AI 應用程式，提升開發效率與系統穩定性。
Vercel Agent investigations now included in Observability Plus
Vercel Changelog193d agoReleaseVercel 宣布其「Agent investigations（Agent 調查）」功能現已正式包含在 Observability Plus 方案中。此功能旨在幫助開發者深入分析、追蹤與除錯其部署在 Vercel 上的 AI Agent 與 LLM 應用行為。透過此整合，開發團隊無需額外付費即可在現有的 Observability Plus 訂閱中享有更全面的 AI 觀測能力。
Braintrust joins the Vercel Marketplace
Vercel Changelog229d agoNew ToolAI 評估與追蹤平台 Braintrust 正式加入 Vercel Marketplace，提供一鍵整合服務。開發者現在可以直接在 Vercel 專案中啟用 Braintrust，進行 LLM 應用的提示詞管理、自動化評估（Evals）與生產環境監控。此舉進一步完善了 Vercel 的 AI 開發生態系，讓全端開發者能更快速地建構具備高品質保障的 AI 產品。
Claude Opus 4.1 is now supported in Vercel AI Gateway★ 75
Vercel Changelog301d agoReleaseVercel 宣布其 AI Gateway 已正式支援 Anthropic 的最新旗艦模型 Claude 4.1 Opus。開發者現在可以透過 Vercel 的統一 API 介面，輕鬆將這款強大的新模型整合至應用程式中，並享有 Vercel 提供的快取、速率限制與監控分析等生產級功能，大幅簡化了 AI 應用的開發與運維流程。
AI Gateway is now in Beta★ 75
Vercel Changelog342d agoNew ToolVercel 宣布其 AI Gateway 服務正式進入 Beta 測試階段。此工具旨在簡化開發者整合多個 LLM 供應商的流程，提供統一的 API 接口。AI Gateway 具備邊緣快取（Edge Caching）、速率限制（Rate Limiting）、即時分析與自動重試等功能，能有效降低 AI 應用的延遲與 API 呼叫成本，並提升系統的穩定性。
Observability added to AI Gateway alpha★ 75
Vercel Changelog358d agoReleaseVercel 宣布為其處於 Alpha 階段的 AI Gateway 服務新增「可觀測性（Observability）」功能。開發者現在可以直接在 Vercel 控制台中，追蹤所有透過 AI Gateway 發送的 LLM 請求、Token 消耗、API 延遲與預估成本。此更新大幅提升了生產環境中 AI 應用的透明度，有助於開發者進行效能調優、錯誤排查與預算控制。
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference★ 85
Hugging Face Blog502d agoReleaseHugging Face 的 Text Generation Inference (TGI) 宣布支援多後端架構，正式整合 NVIDIA TensorRT-LLM 與 vLLM。這項更新讓開發者無需在 TGI 的生產級功能（如 Tokenizer、工具調用、安全防護）與其他引擎的極致效能之間做抉擇。現在，用戶可以透過簡單的設定，直接在 TGI 中調用 TRT-LLM 的硬體優化或 vLLM 的高吞吐量優勢。
Hugging Face models in Amazon Bedrock★ 78
Hugging Face Blog540d agoReleaseHugging Face 宣布與 AWS 達成新合作，將其平台上的熱門開源模型整合至 Amazon Bedrock。開發者無需自行管理複雜的底層基礎設施，即可透過 Bedrock 的託管服務與 API 快速呼叫、部署並擴展 Hugging Face 上的模型。此舉大幅降低了企業在 AWS 生態系中使用開源 AI 模型的門檻，並簡化了計費與安全合規流程。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Eval-driven development: Build better AI faster★ 80
Vercel Changelog593d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Accelerate 1.0.0★ 80
Hugging Face Blog627d agoReleaseHugging Face 旗下熱門的分散式訓練工具庫 Accelerate 正式迎來 1.0.0 版本。此版本標誌著 API 的全面穩定與成熟，大幅優化了 PyTorch FSDP 和 DeepSpeed 的整合，並提升了大模型推理（Big Model Inference）的資源調配效率。對於需要跨 GPU/TPU 進行模型微調或部署的開發者與研究人員而言，這是一次關鍵的重大升級。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Making thousands of open LLMs bloom in the Vertex AI Model Garden★ 75
Hugging Face Blog783d agoReleaseHugging Face 宣布與 Google Cloud 合作，將其平台上數千個開源大語言模型（LLM）整合至 Vertex AI Model Garden。開發者現在無需複雜的設定，即可直接在 Google Cloud 環境中一鍵部署、微調及管理這些開源模型。此舉大幅降低了企業在雲端部署開源 AI 模型的門檻，並提升了運算資源的利用效率。
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1098d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too
Hugging Face Blog1203d agoOpinionMantis NLP 團隊分享了他們將 NLP 模型部署全面轉向 Hugging Face Inference Endpoints 的實戰經驗。相較於傳統自建 AWS SageMaker 或 EC2 基礎設施，Hugging Face 提供極低的維護門檻、靈活的自動縮放（包括縮減至零）以及極具競爭力的價格。這項轉變不僅大幅縮短了產品上線時間，也讓團隊能更專注於模型本身的研發而非繁雜的運維工作。