Sort providers by cost, latency, or throughput on AI Gateway★ 75
Vercel Changelog18d agoReleaseVercel 宣布其 AI Gateway 新增動態排序功能。開發者現在可以根據即時或設定的指標（包含成本、延遲與吞吐量）來自動排序和路由不同的 AI 模型提供商。這項更新讓開發者能更彈性地在效能、預算與速度之間取得平衡，優化生產環境中的 AI 應用表現。
Fast mode for Opus 4.7 available on AI Gateway★ 75
Vercel Changelog21d agoReleaseVercel 宣布其 AI Gateway 正式支援 Opus 4.7 模型的「快速模式」（Fast Mode）。此功能旨在為開發者提供更低的 API 延遲與更快的響應速度，非常適合需要即時互動的 AI 應用場景。開發者現在可以透過 Vercel AI Gateway 輕鬆啟用此模式，在維持 Opus 4.7 強大推理能力的同時，顯著提升終端用戶的使用體驗。
Opus 4.6 Fast Mode available on AI Gateway★ 75
Vercel Changelog56d agoReleaseVercel 於 Changelog 宣布，其 AI Gateway 已正式支援 Anthropic 旗下 Claude 4.6 Opus 模型的「Fast Mode（快速模式）」。這項更新讓開發者在透過 Vercel 部署 AI 應用時，能以更低的延遲調用這款旗艦級模型。此舉將有助於提升需要即時回應的複雜 AI 代理（Agents）與對話應用的效能與使用者體驗。
Customize timeouts for faster automatic failover on Vercel AI Gateway★ 70
Vercel Changelog89d agoReleaseVercel 宣布為其 AI Gateway 推出「提供商級別自訂逾時」功能。開發者現在可以針對不同的 AI 模型提供商設定專屬的逾時限制，避免因單一 API 延遲而導致整體服務停擺。當某個提供商未在設定時間內回應時，系統將快速觸發自動容錯移轉（Failover），無縫切換至備用模型，顯著提升應用的穩定性與使用者體驗。
Vercel Workflow is now twice as fast
Vercel Changelog91d agoReleaseVercel 官方 Changelog 宣布，旗下的 Vercel Workflow 執行速度已提升兩倍。這項更新將顯著降低多步驟 Serverless 工作流的延遲，對於構建 AI Agent、長任務處理及自動化流程的開發者來說，能帶來更即時的響應速度與更低的執行成本。
Introducing the Montréal, Canada region (yul1)
Vercel Changelog133d agoReleaseVercel 正式推出位於加拿大蒙特婁的新區域（代號 yul1）。這項更新讓開發者能將 Serverless 函式與部署更靠近加拿大東部用戶，有效降低網路延遲並提升應用程式效能。對於在加拿大有業務需求、或需要符合當地資料合規性的開發者與企業而言，這是一個重要的基礎設施升級。
We removed 80% of our agent’s tools★ 85
Vercel Changelog162d agoOpinionVercel 在建構生產級 AI Agent 時發現，給予過多工具會導致模型混淆、延遲飆升與成本暴增。他們透過「動態工具載入」、「多 Agent 架構」與「程式碼硬編碼路由」等策略，成功精簡了 80% 的工具。這項優化不僅讓 Agent 的任務成功率顯著提升，更大幅改善了用戶體驗，證明了在 AI 應用開發中「少即是多」的硬道理。
Vercel Blob now available in all Vercel Regions
Vercel Changelog327d agoReleaseVercel 宣布其物件儲存服務 Vercel Blob 已在所有 Vercel 區域正式啟用。開發者現在可以將 Blob 儲存庫部署在與其 Serverless 函數相同的區域，從而大幅降低資料讀寫延遲。此更新也讓團隊能更輕鬆地滿足特定地區的資料合規性與隱私要求。
Introducing the Dubai Vercel region (dxb1)
Vercel Changelog351d agoReleaseVercel 官方宣布推出全新的杜拜區域（代號 dxb1）。這項更新讓開發者可以將 Serverless Functions 部署在更靠近中東用戶的地理位置，顯著降低該地區的網路延遲並提升應用程式效能。對於在中東市場有業務佈局的企業與開發者而言，這是一個重要的基礎設施升級。
Achieving feature rollouts with ultra-low latency and zero impact to conversion
Vercel Changelog670d agoBusiness美國知名餐飲平台 Beyond Menu 分享如何利用 Vercel 與 Hypertune 解決傳統功能旗標（Feature Flags）帶來的延遲與版面跳動問題。透過 Hypertune 在邊緣端（Edge）進行極速評估，他們成功在不影響網頁載入速度與轉換率的前提下，實現動態功能發布與 A/B 測試，為百萬用戶提供流暢體驗。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face★ 75
Hugging Face Blog760d agoNew ToolHugging Face 宣布與獨立評測機構 Artificial Analysis 合作，將其 LLM 效能排行榜引入平台。該榜單不僅評估模型品質，更著重於實際部署指標，如吞吐量（Tokens/sec）、首字延遲（TTFT）與每百萬 Token 的成本。這讓開發者在選擇模型與託管服務商（如 Groq、Together AI 等）時，能有更直觀且數據驅動的決策依據。
Latency numbers every frontend developer should know★ 75
Vercel Changelog770d agoTutorial本文整理了前端與網頁開發者必須掌握的關鍵延遲數據。從瀏覽器渲染的 16.6 毫秒黃金法則、人類感知的 100 毫秒即時界線，到 Edge 網路、Serverless 冷啟動以及資料庫跨區查詢的延遲影響。透過理解這些數字，開發者能更精準地定位效能瓶頸，優化 TTFB、INP 等 Core Web Vitals 指標，打造極速的網頁體驗。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog972d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1005d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
Streaming output for language models★ 70
Replicate Blog1023d agoReleaseReplicate 宣布其 API 正式支援伺服器傳送事件（SSE）串流功能。開發者無需等待整個語言模型（LLM）生成完畢，即可即時將文字片段推送到前端。此功能可透過官方 Python 與 JavaScript SDK 輕鬆實現，能有效降低用戶感知的延遲，打造更流暢的 AI 互動體驗。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Edge Functions enable Read.cv to deliver profiles globally, with near-zero latency
Vercel Changelog1236d agoRelease知名社群平台 Read.cv 透過導入 Vercel Edge Functions，成功優化其全球訪問效能。藉由將運算邏輯移至離用戶最近的邊緣節點，Read.cv 不僅消除了傳統伺服器的地理延遲，更實現了近乎即時的動態個人檔案載入體驗，大幅提升全球用戶的瀏覽流暢度。
Edge Config: Ultra-low latency data at the edge
Vercel Changelog1287d agoReleaseVercel 發表全新的「Edge Config」服務，旨在為邊緣節點提供超低延遲的數據讀取。此服務允許開發者將配置數據（如功能開關、重定向規則等）儲存在邊緣，讀取時間通常僅需數毫秒。透過 Edge Config，開發者無需在每次請求時查詢傳統資料庫，大幅提升了邊緣函數的執行效能。
Regional execution for ultra-low latency rendering at the edge
Vercel Changelog1321d agoReleaseVercel 宣布推出「區域執行（Regional Execution）」功能，解決了邊緣運算中因資料庫距離過遠導致的延遲問題。以往邊緣函數在離使用者最近的節點執行，但若需頻繁存取遠端資料庫，反而會增加往返時間。現在開發者可以指定邊緣函數在靠近資料庫的特定區域執行，從而實現極低延遲的動態網頁渲染。
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face Blog1601d agoNew Tool本案例研究探討了 Hugging Face Infinity 在現代 CPU（如 Intel Xeon）上的效能表現。透過硬體加速與優化技術，Infinity 能在 CPU 上實現單數位毫秒級的推理延遲。這為企業提供了一種高性價比、無需依賴昂貴 GPU 的 Transformer 模型部署選擇，特別適合文本分類與特徵提取等任務。