How fast is 10 tokens per second really?
Simon Willison's Weblog13d agoNew Tool開發者 Mike Veerman 製作了一個名為「tokenspeed」的 HTML 模擬工具，能呈現大語言模型（LLM）在每秒 5 到 800 個 Token 之間的生成速度。當各大廠商宣稱其模型達到特定 Token 速度時，使用者常難以想像其實際體感。此工具能幫助開發者與設計師直觀評估不同速度下的使用者體驗與 UI 設計。
llm-gemini 0.32a0
Simon Willison's Weblog14d agoReleaseSimon Willison 發表了其 CLI 工具外掛 llm-gemini 的 0.32a0 測試版本。此版本主要相容於 llm>=0.32a0 alpha，並新增了串流輸出「思考 Token」（reasoning tokens）的功能。這讓開發者在使用 Gemini 具備推理能力的模型時，能即時在終端機看到模型的思考過程。
How Superset built the IDE for AI agents on Vercel
Vercel Changelog23d agoCommentary本文介紹 Superset 如何在 Vercel 平台上構建專為 AI Agent 設計的整合開發環境 (IDE)。Superset 利用 Vercel AI SDK 簡化多模型對接，並透過 Next.js App Router 與 Serverless Functions 處理複雜的代理人工作流與工具調用。透過 Vercel 的全球邊緣網路，他們成功解決了 Agent 運作時的即時狀態同步與高延遲問題，為開發者提供流暢的協作體驗。
Chat SDK adds web adapter support
Vercel Changelog25d agoReleaseVercel 官方更新其 AI SDK（Chat SDK），新增了 Web Adapter 支援。這項更新讓開發者能夠將 AI SDK 輕鬆適配於標準的 Web APIs 環境，例如 Cloudflare Workers、Deno 或瀏覽器原生環境。此舉大幅降低了跨框架與跨平台部署 AI 聊天應用的門檻，提供更靈活的架構選擇。
How Zo Computer improved AI reliability 20x on Vercel★ 75
Vercel Changelog46d agoBusiness本文介紹 AI 新創公司 Zo Computer 如何利用 Vercel 平台與 AI SDK 解決 LLM 不穩定與延遲問題。他們透過部署 Edge Functions 實現低延遲串流、建立多模型備援（Fallback）與自動重試機制，並結合完善的遙測（Telemetry）監控，最終將系統可靠性顯著提升 20 倍，為 AI 應用開發者提供極佳的架構實踐範例。
Chat SDK now supports concurrent message handling★ 75
Vercel Changelog70d agoReleaseVercel 宣布其 AI SDK（Chat SDK）現已支援並行訊息處理（Concurrent Message Handling）。這項更新解決了以往用戶必須等待 AI 回覆完成才能發送下一條訊息的限制。現在，開發者可以輕鬆構建允許用戶連續發問、或同時處理多個 AI 響應的流暢對話介面，顯著提升了生成式 AI 應用的使用者體驗與互動效率。
Streamdown 2.5 is now available
Vercel Changelog78d agoReleaseVercel 官方發布了 Streamdown 2.5 版本。Streamdown 是 Vercel 用於處理 AI 串流（Streaming）中 Markdown 即時渲染的工具，能有效解決 LLM 輸出未完成時的排版破碎問題。本次 2.5 更新預期帶來了效能優化與更好的渲染穩定性，是開發 AI 聊天介面的前端工程師值得關注的輕量級工具。
Chat SDK adds table rendering and streaming markdown
Vercel Changelog88d agoReleaseVercel 宣布為其 Chat SDK 推出兩項重要更新：表格渲染與 Markdown 串流優化。開發者現在可以更輕鬆地在 AI 聊天介面中呈現結構化的表格數據。同時，新版本改進了 Markdown 的串流解析，確保 AI 在即時生成內容時，Markdown 語法能更平滑、無縫地漸進式顯示，大幅提升使用者的閱讀體驗。
Streamdown 2.4: More customization, accessibility and custom rendering
Vercel Changelog89d agoReleaseVercel 發表 Streamdown 2.4 更新，這款專為 AI 串流設計的 Markdown 渲染工具迎來三大改進。新版本提供了更豐富的自訂選項，並大幅提升了無障礙性（Accessibility）支援。此外，開發者現在可以更輕鬆地實作自訂渲染（Custom Rendering），將特定的 Markdown 語法轉換為自訂的 React 元件，極大提升了 AI 聊天介面的開發彈性。
Streamdown 2.3 — Refreshed design and interactive playground
Vercel Changelog103d agoReleaseVercel 推出 Streamdown 2.3 版本更新。本次更新重點在於視覺設計的全面翻新，並新增了互動式 Playground（遊樂場），讓開發者能更直觀地測試與調整串流 Markdown 的呈現效果。這對於構建 AI 聊天介面與即時文本輸出應用的開發者來說，是一次實用的工具升級。
We Ralph Wiggumed WebStreams to make them 10x faster★ 75
Vercel Changelog104d agoReleaseVercel 針對 WebStreams 進行了「愚蠢但極其有效」的優化（借用辛普森角色 Ralph Wiggum 的梗）。由於標準 WebStreams 規範過於複雜且開銷巨大，Vercel 透過簡化其實作，去除了不必要的規範包袱。這項改進讓邊緣函數（Edge Functions）與 AI 串流回應（如 LLM 輸出）的處理速度直接飆升 10 倍，大幅降低了延遲與運算成本。
Anyone can build agents, but it takes a platform to run them★ 75
Vercel Changelog113d agoOpinionVercel 探討 AI Agent 從開發到生產環境的關鍵痛點。雖然現今開發 Agent 難度降低，但運行時面臨 Serverless 超時、複雜狀態管理、即時串流（Streaming）以及工具調用監控等挑戰。Vercel 強調，唯有透過完善的平台基礎設施（如 Vercel AI SDK 與其託管服務），才能真正釋放 Agent 的商業價值。
Streamdown v2: Smaller bundle size and new Remend options
Vercel Changelog141d agoReleaseVercel 推出其 Markdown 串流解析工具 Streamdown 的第二代版本。本次更新重點在於大幅優化打包體積（Bundle Size），提升前端載入效能，並引入全新的 Remend 配置選項，讓開發者在處理不完整或串流中的 Markdown 文本時，能有更彈性的修復與渲染控制。
New npm package for automatic recovery of broken streaming markdown★ 75
Vercel Changelog181d agoNew ToolVercel 發表全新 npm 套件，專為解決 AI 串流（Streaming）時 Markdown 語法不完整導致的渲染問題。當 LLM 輸出尚未結束時，該套件能即時補全未閉合的程式碼區塊、粗體或表格等標籤，避免前端畫面閃爍或排版崩潰。這對於開發 AI 聊天介面的前端工程師來說，是提升使用者體驗的實用工具。
Streamdown 1.6 is now available to run faster and ship less code
Vercel Changelog190d agoReleaseVercel 宣布推出 Streamdown 1.6，這款專為 Markdown 串流設計的輕量級解析器迎來重大更新。新版本專注於提升執行效率與減少 bundle 體積，讓開發者能以更少的程式碼實現更流暢的 LLM 輸出渲染。特別針對 AI 聊天介面的漸進式文字呈現進行優化，有效降低瀏覽器負載並避免畫面閃爍。
How AI Gateway runs on Fluid compute★ 75
Vercel Changelog208d agoReleaseVercel 技術部落格分享了其 AI Gateway 背後的架構設計。透過運行於 Vercel 的 Fluid Compute，AI Gateway 能夠實現全球低延遲的 LLM 請求代理。該架構完美支援 AI 應用不可或缺的 Server-Sent Events (SSE) 串流、自動重試與容錯機制，並透過邊緣快取大幅降低 API 成本，為開發者提供高彈性且無冷啟動的 AI 基礎設施。
Streaming datasets: 100x More Efficient★ 85
Hugging Face Blog218d agoReleaseHugging Face 宣布對其開源 `datasets` 庫的串流（Streaming）模式進行重大升級，效率提升達 100 倍。新版本優化了底層資料讀取架構，顯著降低了記憶體佔用並提高了 I/O 吞吐量。這讓開發者在訓練超大型模型時，無需事先下載數百 GB 的完整資料集，即可實現極速的即時資料餵送，解決了 GPU 因等待資料而閒置的痛點。
Node.js Vercel Functions now support per-path request cancellation★ 75
Vercel Changelog249d agoReleaseVercel 宣布其 Node.js Vercel Functions 支援「特定路徑請求取消」功能。當前端用戶中斷連線（如關閉網頁或取消請求）時，伺服器端可立即偵測並終止執行。這對於需要處理 LLM 串流生成（Streaming）的 AI 應用尤為重要，能有效避免不必要的 API 消耗與運算成本。
Streamdown 2.2 - animated streaming and better support for custom HTML
Vercel Changelog267d agoReleaseVercel 推出 Streamdown 2.2 更新，這款專為 Markdown 串流設計的工具現在支援「動畫式串流」，讓 AI 生成內容的呈現更加平滑自然。此外，新版本也優化了對自訂 HTML 的支援，讓開發者在構建 AI 聊天界面時能更彈性地嵌入自訂樣式與結構，顯著提升前端使用者體驗。
Introducing Streamdown: Open source Markdown for AI streaming★ 75
Vercel Changelog285d agoNew ToolVercel 推出全新開源工具 Streamdown，專為解決 AI 文本串流（Streaming）中的 Markdown 渲染痛點。傳統解析器在處理未完成的標記（如未閉合的粗體或程式碼區塊）時容易導致畫面閃爍或排版崩潰。Streamdown 透過漸進式解析技術，確保 AI 生成內容在傳輸過程中能平滑、無閃爍地即時呈現，極大提升了 AI 聊天介面的使用者體驗。
AI SDK 5★ 85
Vercel Changelog306d agoReleaseVercel 發表 AI SDK 5，此版本專為構建複雜的 AI 應用與 Agentic 工作流而設計。新版本強化了多模態輸入輸出、多代理（Multi-agent）協作架構，並內建更完善的 OpenTelemetry 監控支援。此外，針對 React Server Components (RSC) 與主流前端框架的整合也獲得進一步優化，讓開發者能更輕鬆地打造高效能的 AI 體驗。
Fluid compute: Evolving serverless for AI workloads★ 80
Vercel Changelog368d agoReleaseVercel 發表全新「Fluid Compute」架構，旨在解決傳統 Serverless 在處理 AI 工作負載時的痛點（如超時、冷啟動與串流中斷）。Fluid Compute 提供更長的執行時間、動態資源配置與優化的串流支援，讓開發者能更輕鬆地在 Vercel 上部署複雜的 AI Agent 與推理模型應用，無需轉向複雜的容器管理。
How Fluid compute works on Vercel★ 75
Vercel Changelog456d agoReleaseVercel 發表「Fluid Compute」技術細節，這是一種新型的無伺服器（Serverless）運算架構。它解決了傳統 Serverless 的冷啟動、固定記憶體配置與執行時間限制等痛點。透過動態且彈性的資源調配，Fluid Compute 能在毫秒內根據請求負載自動調整 CPU 與記憶體，特別適合需要長連接、串流輸出及高運算需求的 AI Agent 和 LLM 應用。
Using the AI SDK to build Sitecore Stream's AI-powered brand aware assistant
Vercel Changelog456d agoTutorial數位體驗平台 Sitecore 透過 Vercel AI SDK 打造了其全新的 AI 助手「Sitecore Stream」。該助手專為企業行銷人員設計，能理解並遵循品牌規範。文章深入探討了如何利用 AI SDK 的串流（Streaming）、工具呼叫（Tool Calling）等功能，快速整合多種大語言模型，並在 Next.js 環境下提供流暢、安全的品牌專屬 AI 互動體驗。
New execution duration limit for Edge Functions
Vercel Changelog481d agoReleaseVercel 宣布為 Edge Functions 推出全新的執行時間限制（Duration Limit）規範，使其與 Serverless Functions 對齊。現在 Hobby 方案限制為 30 秒，Pro 方案預設 30 秒並可手動配置延長至 5 分鐘（300 秒），Enterprise 方案則最高支援 15 分鐘。這項調整讓開發者在 Edge 端處理長時間運作的任務（如 AI 串流、複雜 API 請求）時，擁有更明確的規範與彈性。
Python Vercel Functions now have streaming enabled by default★ 75
Vercel Changelog512d agoReleaseVercel 宣布其 Python Serverless Functions 現在起預設啟用響應串流（Streaming）功能。這項更新讓開發者在構建基於 Python 的 AI 應用或大型語言模型（LLM）對話介面時，無需額外配置即可實現即時的逐字回傳（Server-Sent Events），顯著降低首字響應時間（TTFT）並提升使用者體驗。
Deploying Speech-to-Speech on Hugging Face★ 75
Hugging Face Blog588d agoTutorialHugging Face 發布技術教學，介紹如何在 Inference Endpoints 上部署語音對語音（Speech-to-Speech, S2S）模型。透過自訂 EndpointHandler 與串流（Streaming）技術，開發者可以實現低延遲的即時語音互動。本文以開源的 Mini-Omni 模型為例，展示了從環境設定、撰寫自訂推論邏輯到部署至 GPU 節點的完整流程。
Leveraging Vercel and the AI SDK to deliver a seamless, AI-powered experience as a solo founder★ 75
Vercel Changelog601d agoTutorial針對資源有限的獨立開發者，本文探討如何透過 Vercel 平台與 Vercel AI SDK 簡化 AI 應用開發。藉由 SDK 提供的統一 API、串流傳輸（Streaming）與 React Hooks，開發者能免去繁雜的後端架構管理，專注於打造流暢的用戶體驗，並實現快速迭代。
How to build scalable AI applications★ 75
Vercel Changelog659d agoTutorialVercel 探討了構建可擴展 AI 應用的核心挑戰與解決方案。文章指出，傳統網頁架構難以應對 AI 的高延遲與高成本，開發者應採用串流（Streaming）技術提升用戶體驗，並透過邊緣運算（Edge Functions）與快取機制降低延遲。此外，利用 Vercel AI SDK 的統一 API 與可觀測性工具，能有效簡化多模型管理並優化生產環境性能。
Function streaming to be framework-agnostic on Vercel★ 75
Vercel Changelog698d agoReleaseVercel 宣布將 Vercel Functions 的串流（Streaming）功能改為「框架無關」（Framework-agnostic）。過去串流多與 Next.js 深度整合，如今不論是使用 Remix、Nuxt、SvelteKit 還是原生 Web API，開發者都能直接利用標準的 ReadableStream 進行資料串流。這對於需要即時生成 AI 回覆（如 LLM 輸出）的開發者來說，提供了極大的框架選擇彈性。