Latest in AI
View advanced function metrics with Observability
Vercel Changelog583d agoReleaseVercel 宣布在其 Observability（可觀測性）功能中推出「進階函數指標（Advanced Function Metrics）」。開發者現在可以直接在 Vercel 控制台中，針對 Serverless Functions 進行更細緻的效能監控，包含即時的延遲分佈（如 p99 延遲）、錯誤率分析以及冷啟動影響。這項更新旨在幫助開發團隊更快速地定位效能瓶頸，優化無伺服器應用的執行效率。
A deep dive into Vercel’s build infrastructure
Vercel Changelog583d agoReleaseVercel 發表了其下一代建置基礎架構「Hive」的技術細節。Hive 解決了每日數百萬次建置面臨的隔離性、速度與資源利用率挑戰。透過採用基於 Firecracker 的微型虛擬機器（microVMs）技術，Hive 實現了毫秒級的啟動速度與強大的安全隔離，並結合智慧調度演算法，顯著優化了快取命中率與建置效率，為現代 Web 與 AI 應用提供更穩健的部署支援。
Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog584d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog585d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
Recap: Next.js Conf 2024★ 85
Vercel Changelog588d agoReleaseNext.js Conf 2024 圓滿落幕，本次大會的核心焦點為 Next.js 15 的正式發布（GA）。新版本全面支援 React 19，並將 Turbopack 開發模式調整為穩定版，大幅提升編譯速度。此外，Next.js 15 調整了預設快取行為（改為預設不快取），並推出全新 <Form> 元件與更安全的 Server Actions。Vercel 亦展示了 AI 輔助開發工具 v0 的最新進展，進一步簡化全端應用的開發流程。
A Deepdive into Aya Expanse: Advancing the Frontier of Multilinguality★ 75
Hugging Face Blog589d agoReleaseCohere For AI 發表全新開源多語言模型家族 Aya Expanse（包含 8B 與 32B 參數版本），支援 23 種語言。該模型透過創新的資料套利、合成資料生成與多語言偏好對齊技術，在多項基準測試中擊敗了 Llama 3.1、Gemma 2 等同級甚至更大規模的模型，為全球多語言 AI 研究樹立了新標竿。
Maximizing outputs with v0: From UI generation to code creation★ 82
Vercel Changelog590d agoNew ToolVercel 發表專文介紹其 AI 輔助工具 v0 的最新演進。v0 已不僅能生成美觀的 React、Tailwind CSS 與 shadcn/ui 元件，更能進一步撰寫複雜的業務邏輯、狀態管理與 API 串接程式碼。開發者與設計師可透過對話介面持續迭代、即時預覽，並利用 CLI 工具一鍵將程式碼無縫整合至本地專案，大幅縮短從設計概念到生產環境的開發週期。
What's new in Svelte 5★ 80
Vercel Changelog590d agoReleaseSvelte 5 迎來重大變革，核心引入基於 Signal 的「Runes」反應式系統（如 $state、$derived），取代以往的 let 與 $ 語法。此外，全新「Snippets」機制取代了傳統的 Slots，簡化了組件間的 UI 傳遞，並將事件監聽改為標準的 onclick 屬性。這些更新不僅提升了效能，也讓 TypeScript 支援更加完善。
Introducing SynthID Text★ 85
Hugging Face Blog590d agoReleaseGoogle 與 Hugging Face 宣布將 SynthID Text 技術整合至 Transformers 庫中。這項技術能在不影響文本生成品質的前提下，於 LLM 輸出的機率分佈中嵌入隱形浮水印。開發者現在可以輕鬆在自己的模型中啟用此功能，以識別和追蹤 AI 生成的文本，應對虛假訊息與版權爭議。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog590d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
CinePile 2.0 - making stronger datasets with adversarial refinement★ 75
Hugging Face Blog590d agoReleaseCinePile 2.0 是一個專為長影片理解設計的問答資料集更新版本。本次更新引入了「對抗性精煉（Adversarial Refinement）」技術，旨在解決 LLM 生成干擾項過於簡單或存在偏誤的問題。透過篩選掉不需看影片就能回答的漏洞題目，CinePile 2.0 能更精準地評估多模態模型對複雜視覺與敘事邏輯的真實理解能力。
BNP Paribas Open: Serving up scores and experiences in real time with Work & Co and Vercel
Vercel Changelog591d agoBusinessBNP Paribas Open（巴黎銀行公開賽）為應對賽事期間龐大的即時流量，與數位機構 Work & Co 合作，將其數位平台遷移至 Vercel。透過 Next.js 與 Vercel 的邊緣基礎設施，成功實現毫秒級的即時比分更新與極致的網頁效能，為全球數百萬網球愛好者提供不間斷的流暢體驗。
How Vercel adopted microfrontends★ 75
Vercel Changelog591d agoOpinionVercel 分享了其官方儀表板（Dashboard）轉向微前端（Microfrontends）架構的實踐經驗。面對龐大系統與多團隊協作的挑戰，Vercel 利用 Next.js Multi-zones、Edge 路由重寫（Rewrites）以及共享設計系統，實現了獨立部署與快速建置，同時維持了無縫的用戶體驗。這為大型前端專案的架構拆分提供了極具價值的參考。
Upstash joins the Vercel Marketplace
Vercel Changelog591d agoNew ToolUpstash 正式上架 Vercel Marketplace，讓開發者能直接在 Vercel 平台中啟用並管理 Serverless Redis、Kafka 和 QStash 服務。此整合支援免設定（Zero-config）自動帶入環境變數，並將費用合併至 Vercel 帳單。這對於需要快取、速率限制（Rate Limiting）或異步任務處理的 Vercel 與 Next.js 開發者來說是一大便利。
Transformers.js v3: WebGPU Support, New Models & Tasks, and More…★ 85
Hugging Face Blog591d agoReleaseHugging Face 正式發布 Transformers.js v3，最大亮點為引進 WebGPU 支援，使瀏覽器端模型推論速度較以往的 CPU/WASM 提升達 100 倍。此版本也將 npm 套件重新命名為 @huggingface/transformers，並新增支援 Llama 3、Gemma、Phi-3 等熱門模型。此外，新版本擴展了語音合成（TTS）與多模態任務，為網頁開發者提供更強大的無伺服器端（Serverless）AI 解決方案。
Hugging Face Teams Up with Protect AI: Enhancing Model Security for the ML Community★ 75
Hugging Face Blog591d agoBusinessHugging Face 宣布與 AI 安全領導廠商 Protect AI 展開合作，旨在提升開源機器學習（ML）社群的模型安全性。雙方將共同應對日益嚴重的開源模型安全威脅，如惡意代碼注入與反序列化漏洞。透過整合先進的安全掃描技術，此合作將幫助開發者在 Hugging Face Hub 上更安全地分享與下載模型，降低供應鏈安全風險。
Diffusers welcomes Stable Diffusion 3.5 Large★ 85
Hugging Face Blog591d agoReleaseHugging Face 的 Diffusers 程式庫已正式支援 Stability AI 最新推出的 Stable Diffusion 3.5 Large 模型。此模型擁有 80 億參數，在提示詞遵循度、圖像品質及多樣性上皆有顯著提升。開發者現在可以透過簡單的程式碼載入模型，並利用 CPU Offloading、bfloat16 及量化技術，在消費級 GPU 上順暢運行。
Releasing Outlines-core 0.1.0: structured generation in Rust and Python★ 75
Hugging Face Blog591d agoReleaseOutlines 團隊與 Hugging Face 合作發布了 outlines-core 0.1.0，將結構化生成的核心邏輯（如 FSM 與 Token 遮罩）用 Rust 重寫。這項更新不僅大幅降低了引導生成時的 CPU 開銷與延遲，也讓 Rust 開發者能直接在 Rust 生態系中實現精準的 JSON 或正規表示式輸出控制，同時保持對 Python 的完美支援。
Ideogram v2 is an outstanding new inpainting model★ 75
Replicate Blog591d agoReleaseAI 圖像生成平台 Replicate 宣布與 Ideogram 合作，正式在其 API 上推出 Ideogram v2 的局部繪製（Inpainting）與外繪（Outpainting）功能。Ideogram v2 以其卓越的文字渲染能力聞名，此次 API 的推出讓開發者能夠在現有圖像中精準修改特定區域、添加或修改文字，並能無縫擴展圖像邊界，為創意工作流與自動化圖像編輯提供更強大的控制力。
Deploying Speech-to-Speech on Hugging Face★ 75
Hugging Face Blog591d agoTutorialHugging Face 發布技術教學，介紹如何在 Inference Endpoints 上部署語音對語音（Speech-to-Speech, S2S）模型。透過自訂 EndpointHandler 與串流（Streaming）技術，開發者可以實現低延遲的即時語音互動。本文以開源的 Mini-Omni 模型為例，展示了從環境設定、撰寫自訂推論邏輯到部署至 GPU 節點的完整流程。
Stable Diffusion 3.5 is here★ 75
Replicate Blog591d agoReleaseStability AI 正式推出最新一代文字生成圖片模型 Stable Diffusion 3.5，並已同步上架至 AI 雲端託管平台 Replicate。開發者與創作者現在無需自行配置高規格 GPU 顯示卡，即可直接透過 Replicate 提供的雲端 API 快速將 SD 3.5 整合至自己的應用程式或工作流中，極大地降低了開發與部署的門檻。
“Llama 3.2 in Keras”★ 75
Hugging Face Blog592d agoReleaseHugging Face 與 Keras 團隊宣布 Llama 3.2 模型正式登陸 Keras 生態系。開發者現在可以透過 KerasNLP 輕鬆載入 Llama 3.2 的 1B 與 3B 輕量級模型。得益於 Keras 3 的多後端架構，使用者能自由切換 JAX、PyTorch 或 TensorFlow，並利用 LoRA 等技術進行高效微調與跨平台部署。
Eval-driven development: Build better AI faster★ 80
Vercel Changelog596d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Fixing Gradient Accumulation★ 85
Hugging Face Blog597d agoTutorial在微調 LLM 時，梯度累積（Gradient Accumulation）常被用來模擬大 Batch Size。然而，Hugging Face 指出，當訓練樣本長度不一時，傳統「直接除以累積步數」的作法會導致數學上的權重偏差。這篇技術部落格詳細解釋了此問題，並介紹了在 Hugging Face Trainer 中引入的全新修正機制，確保梯度累積與真實大 Batch Size 的訓練結果完全一致。
v0 plans for teams are here★ 75
Vercel Changelog598d agoReleaseVercel 宣布為其熱門的 AI 網頁與 UI 生成工具「v0」推出全新的團隊方案（v0 plans for teams）。此方案旨在解決企業與開發團隊在協作上的痛點，提供共享的工作空間，讓團隊成員能共同編輯、檢視與管理 AI 生成的 UI 組件。此外，團隊方案還支援導入統一的設計系統與自訂指令，並提供集中化的成員管理與帳單計費，大幅提升團隊利用 AI 進行前端開發的效率。
Add 3D to your web projects with v0 and React Three Fiber★ 75
Vercel Changelog603d agoReleaseVercel 旗下的 AI 介面生成工具 v0 宣布支援 React Three Fiber (R3F)。 開發者現在可以直接透過自然語言提示詞，讓 v0 生成包含 3D 場景、動畫與互動效果的 React 組件。 這項更新大幅降低了網頁 3D 開發的門檻，讓不熟悉 Three.js 的開發者也能快速在專案中導入 3D 視覺效果。
How Emburse increased site performance by 4x with Vercel
Vercel Changelog603d agoBusiness全球費用管理解決方案領導者 Emburse 過去面臨多個網站架構分散、維護困難與效能瓶頸等挑戰。在決定將網站遷移至現代化的 Next.js 框架並部署於 Vercel 平台後，該公司成功將網站整體加載效能提升了 4 倍。這項轉變不僅顯著改善了 Core Web Vitals 等關鍵 SEO 指標，更透過 Vercel 的預覽部署功能，大幅優化了開發團隊與行銷團隊之間的協作效率，實現更快速的內容迭代。
A Security Review of Gradio 5★ 80
Hugging Face Blog603d agoReleaseHugging Face 委託專業安全公司 Trail of Bits 對 Gradio 5 進行全面安全性審計。本次更新修復了包括任意檔案讀取（LFI）與伺服器端請求偽造（SSRF）等潛在漏洞，並重新設計了檔案存取架構。新版本採取「預設安全」策略，大幅降低開發者在部署 AI 互動介面時面臨的安全風險。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog603d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
FLUX is fast and it's open source★ 72
Replicate Blog603d agoReleaseReplicate 平台上的 FLUX 模型現在運行速度顯著加快。官方不僅提升了推論效能，還將這些優化技術與程式碼完全開源，讓開發者可以深入了解其運作原理，並能在此基礎上進行二次開發與自定義部署。