Vercel 推出 AI SDK 3.0,核心亮點為「Generative UI」支援。此版本突破了傳統 AI 僅能輸出文字或 JSON 的限制,開發者現在可以讓 LLM 根據上下文,直接動態決定並串流渲染 React 伺服器元件(RSC),如天氣圖表、機票卡片等,大幅提升 AI 應用的互動體驗與開發效率。
Vercel 宣布 Vercel Functions 的全新演進,大幅優化 Serverless 效能並放寬限制。本次更新將冷啟動時間縮短達 40%,並將 Pro 方案的預設執行超時時間從 15 秒大幅延長至 5 分鐘(300 秒)。此外,Serverless 函數現在預設支援回應串流(Streaming),讓開發者在構建 AI 聊天等需要即時輸出的應用時更加便利,進一步模糊了 Serverless 與 Edge Functions 的效能界線。
傳統伺服器端渲染(SSR)需等待所有數據加載完畢才能傳送頁面,造成明顯延遲。Vercel 介紹了「串流(Streaming)」技術,允許伺服器將網頁拆分為多個區塊並在準備好時立即傳送。這不僅縮短了 TTFB,還能讓使用者更快看到核心內容,特別適合 AI 文本生成與高動態數據的 Web 應用。
Replicate 宣布其 API 正式支援伺服器傳送事件(SSE)串流功能。開發者無需等待整個語言模型(LLM)生成完畢,即可即時將文字片段推送到前端。此功能可透過官方 Python 與 JavaScript SDK 輕鬆實現,能有效降低用戶感知的延遲,打造更流暢的 AI 互動體驗。
Hugging Face 分享了建立「AI WebTV」的實戰指南。該專案整合了多種開源 AI 技術:利用 LLM 自動生成劇本、透過 Stable Diffusion 產生視覺畫面,並結合 TTS 語音合成技術。最後,利用 FFmpeg 將這些素材即時融合成影片串流,部署於 Hugging Face Spaces 並可同步直播至 Twitch 等平台,展示了多模態 AI 工作流的強大整合能力。
本文為 Vercel 撰寫的 Web Streaming 串流技術入門指南。傳統 SSR 需等待所有數據準備完畢才渲染,而 Streaming 允許伺服器將網頁拆分為多個區塊(Chunks),並透過 HTTP 傳輸協議逐步推送至瀏覽器。這不僅能顯著降低首位元組時間(TTFB),還能結合 React Suspense 實現漸進式渲染,是現代前端開發與 AI 串流生成(LLM Streaming)不可或缺的底層效能優化手段。
Vercel 正式推出 Vercel AI SDK,這是一款專為 JavaScript 和 TypeScript 開發者設計的開源庫。它能幫助開發者輕鬆在 Next.js、React、Svelte 等前端框架中構建 AI 聊天與生成界面。SDK 核心亮點在於內建強大的串流(Streaming)支援、提供 useChat 等便捷的 React Hooks,並無縫相容 OpenAI、Anthropic 等主流 LLM 提供商。
知名 AI 雲端託管平台 Replicate 宣布正式支援大型語言模型(LLMs)。平台已上架包括 Vicuna、Alpaca、Flan-T5 等多款開源模型,並優化了冷啟動時間。開發者現在可以透過簡單的 API 與 SDK,輕鬆在應用程式中整合語言模型的文字生成與串流(Streaming)輸出功能。
Vercel 宣布其 Serverless Functions(Node.js)與 Edge Runtimes 全面支援響應串流(Response Streaming)。這項更新解決了過去 Serverless 函數必須等待完整響應生成後才一次性回傳的限制,能顯著降低首字時間(TTFB)。對於開發 ChatGPT 式的生成式 AI 應用、即時數據傳輸或漸進式網頁渲染的開發者而言,這是一項重大的基礎設施升級。
本教學介紹如何使用 Next.js 和 Vercel Edge Functions 構建 GPT-3 應用。透過 Edge Runtime 的 Web Streams API,開發者可以實現打字機式的即時文字串流(Streaming)輸出,這不僅能繞過傳統 Serverless 函數的超時限制,還能消除冷啟動延遲,大幅提升 AI 應用的使用者體驗。
本文介紹在 Vercel 部署 AI 應用的最佳實踐。透過 Vercel Edge Functions,開發者可以突破傳統 Serverless 的超時限制,並利用 Server-Sent Events (SSE) 實現 ChatGPT 式的即時文字串流響應。此外,Vercel 也提供多款一鍵部署的 AI 模板,幫助開發者快速整合 OpenAI、Replicate 等主流 AI 服務。