How to integrate AI into your business★ 75
Vercel Changelog665d agoTutorialVercel 發布企業 AI 整合指南，指引企業如何從 AI 概念驗證走向生產環境。指南強調不應綁定單一模型，而應利用 Vercel AI SDK 建立多模型架構。此外，優秀的 AI 體驗需超越傳統聊天對話框，導入 Generative UI 與即時串流技術，並透過 Serverless 基礎設施與邊緣運算解決延遲與逾時問題，最後搭配完善的安全評估機制，確保企業級應用的穩定與安全。
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?★ 75
Hugging Face Blog678d agoPaper本文介紹了 Hugging Face 提出的 LAVE（LLM 輔助 VQA 評估）方法，並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標（如 ANLS）因過於嚴格而不利於 Zero-shot 模型，而 LAVE 利用 LLM 作為裁判，能更公正地評估模型。結果顯示，雖然強大 LLM 的 Zero-shot 能力顯著，但在特定文檔理解任務中，微調（Fine-tuning）依然是提升中小型模型性能的關鍵。
Our Transformers Code Agent beats the GAIA benchmark 🏅★ 80
Hugging Face Blog702d agoReleaseHugging Face 發表全新的 Transformers Code Agent，透過讓 AI 撰寫並執行 Python 程式碼來解決複雜任務。該方法在評估通用 AI 助理能力的 GAIA 基準測試上取得了 SOTA（當前最佳）表現，證明了「程式碼執行」作為 Agent 推理工具，遠比傳統的 JSON 工具調用（Tool Calling）更具彈性與效率。此專案已完全開源，為開發者提供構建高效能 Agent 的新選擇。
Introducing Vercel AI SDK 3.2★ 85
Vercel Changelog714d agoReleaseVercel 正式發布 AI SDK 3.2，本次更新帶來兩大核心功能：首先是全新的 `embed` 與 `embedMany` API，讓開發者能輕鬆生成向量嵌入以支援 RAG 應用；其次是支援 `maxSteps` 參數，實現自動化的多步驟工具調用（Multi-step Tool Calling），讓 AI 能在單次呼叫中連續執行多個工具，極大提升了建構 AI Agent 的效率與靈活性。
BigCodeBench: The Next Generation of HumanEval★ 80
Hugging Face Blog715d agoRelease傳統的 HumanEval 程式碼評測基準已逐漸飽和且過於簡單。Hugging Face 與研究團隊合作推出新一代基準 BigCodeBench，包含 1,140 個實用編程任務，涵蓋 139 個第三方 Python 函式庫。此基準旨在考驗 LLM 在複雜、多步驟及真實開發場景下的程式碼生成與指令遵循能力，成為評估 Code LLM 的新一代標準。
Replicate Intelligence #4
Replicate Blog719d agoReleaseReplicate 發表最新技術週報，重點包括：1. 介紹如何透過稀疏自編碼器（SAE）在 GPT 模型中定位與提取特定概念；2. 展示利用瀏覽器進行低延遲、隱私安全的即時語音轉文字技術；3. 宣布 Replicate 平台即將迎來 NVIDIA H100 GPU，大幅提升開源模型推理與微調的速度。
Getting started with AI: Advice from the experts at Vercel Ship★ 75
Vercel Changelog719d agoTutorial在 Vercel Ship 大會後，官方整理了專家們對於開發者如何入門 AI 的核心建議。文章強調開發者不需從頭訓練模型，應專注於利用現成 API 與 Vercel AI SDK 進行整合。專家指出，優化 AI 應用的關鍵在於提升使用者體驗（如串流輸出）與實作工具呼叫（Tool Calling），並建議從簡單的 Prompt 工程開始，逐步引入 RAG 與評估機制。
7 AI features you can add to your app today★ 75
Vercel Changelog754d agoTutorialVercel 官方部落格整理了 7 個現代網頁應用必備的 AI 功能，並展示如何利用 Vercel AI SDK 快速實現。這些功能涵蓋了即時串流聊天、結構化 JSON 輸出、工具調用（Tool Calling）、動態生成式 UI（Generative UI）、語意搜尋（RAG）、圖像生成以及語音整合。這篇文章為想要提升產品體驗的 Web 開發者提供了具體的實作方向與程式碼範例。
Vercel AI SDK 3.1: ModelFusion joins the team★ 85
Vercel Changelog761d agoReleaseVercel 正式發布 AI SDK 3.1，並宣布開源專案 ModelFusion 的創辦人 Lars Grammel 加入 Vercel 團隊。本次更新引入了全新的 Core API（如 generateText 與 streamText），提供統一且型別安全的介面來操作各大 LLM。此外，新版本大幅簡化了結構化資料生成（Structured Outputs）與工具調用（Tool Calling）的開發流程。
The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare★ 75
Hugging Face Blog775d agoReleaseHugging Face 與 Open Life Science AI 等機構合作推出「Open Medical-LLM Leaderboard」。該排行榜整合了 MedQA、MedMCQA、PubMedQA 及 MMLU 醫學子集等基準測試，旨在客觀評估 LLM 在醫療與臨床任務上的表現。這為醫療領域的 AI 研究人員與開發者提供了一個公開、標準化且易於比較的評估平台，有助於推動安全且精確的醫療 AI 發展。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog778d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Composable AI for ecommerce: Hands-on with Vercel’s AI SDK★ 75
Vercel Changelog784d agoTutorial本指南介紹如何將 Vercel AI SDK 應用於電子商務，實現「可組合式 AI（Composable AI）」。開發者可以輕鬆整合多種 LLM，並利用 Generative UI 技術，讓 AI 助手在對話中直接渲染動態的商品卡片、購物車與結帳元件，大幅提升電商平台的互動率與轉換率。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog820d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
Introducing AI SDK 3.0 with Generative UI support★ 85
Vercel Changelog823d agoReleaseVercel 推出 AI SDK 3.0，核心亮點為「Generative UI」支援。此版本突破了傳統 AI 僅能輸出文字或 JSON 的限制，開發者現在可以讓 LLM 根據上下文，直接動態決定並串流渲染 React 伺服器元件（RSC），如天氣圖表、機票卡片等，大幅提升 AI 應用的互動體驗與開發效率。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog831d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
Introducing AI Integrations on Vercel★ 75
Vercel Changelog845d agoReleaseVercel 宣布在整合市場中推出全新的「AI Integrations」，旨在簡化開發者將 AI 模型與服務導入 Web 應用的流程。開發者現在可以一鍵將 OpenAI、Replicate、Cohere 和 Pinecone 等熱門服務連接至 Vercel 專案，系統會自動配置環境變數。搭配 Vercel AI SDK，開發者能以極快的速度構建、部署並擴展 AI 驅動的應用程式。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog852d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog854d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog856d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog859d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
How to create an AI narrator for your life
Replicate Blog910d agoTutorialReplicate 發布了一篇趣味實用的技術教學，展示如何利用網路攝影機（Webcam）捕捉畫面，並透過 LLaVA 或 GPT-4V 等多模態視覺模型分析影像，最後結合 ElevenLabs 的語音合成技術，以經典自然紀錄片主持人大衛·艾登堡（David Attenborough）的口吻與聲音，為你的日常生活進行即時的幽默旁白。
Announcing v0: Generative UI★ 85
Vercel Changelog965d agoReleaseVercel 正式發表 AI 輔助 UI 生成工具「v0」。用戶只需輸入自然語言描述，v0 即可自動產生高品質的 React、Tailwind CSS 與 shadcn/ui 程式碼。該工具支援互動式微調與即時預覽，並能一鍵複製程式碼或部署，極大提升了前端開發與原型設計的效率。
Vercel AI Accelerator Demo Day
Vercel Changelog1014d agoBusinessVercel 舉辦了首屆 AI Accelerator 的 Demo Day，展示了從 2000 多個申請者中脫穎而出的 40 家 AI 新創團隊。這些團隊在為期六週的計劃中，利用 Next.js、Vercel AI SDK 以及合作夥伴（如 OpenAI、Replicate）的資源，開發出涵蓋開發者工具、圖像生成、生產力等領域的創新應用，展現了 AI 應用的快速開發潛力。
Introducing the Vercel AI SDK★ 85
Vercel Changelog1083d agoReleaseVercel 正式推出 Vercel AI SDK，這是一款專為 JavaScript 和 TypeScript 開發者設計的開源庫。它能幫助開發者輕鬆在 Next.js、React、Svelte 等前端框架中構建 AI 聊天與生成界面。SDK 核心亮點在於內建強大的串流（Streaming）支援、提供 useChat 等便捷的 React Hooks，並無縫相容 OpenAI、Anthropic 等主流 LLM 提供商。
Introducing Vercel's AI Accelerator★ 70
Vercel Changelog1084d agoBusinessVercel 推出為期 6 週的「Vercel AI Accelerator」計劃，旨在協助早期 AI 新創團隊。入選團隊將獲得總價值達 25 萬美元的 API 額度與雲端資源，並能獲得來自 OpenAI、Pinecone、Hugging Face 等合作夥伴的技術支持與業界頂尖導師的親自指導，加速 AI 應用的開發與部署。
Can foundation models label data like humans?★ 75
Hugging Face Blog1087d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
AutoCog — Generate Cog configuration with GPT-4
Replicate Blog1141d agoNew ToolReplicate 推出新工具 AutoCog，旨在簡化機器學習模型的打包流程。使用者只需提供含有模型程式碼的目錄，AutoCog 就能利用 GPT-4 自動編寫並修正 predict.py 和 cog.yaml。它會透過「執行、報錯、修正」的循環，直到模型能順利執行預測，大幅降低將模型部署至 Replicate 或 Docker 容器的門檻。
Accelerating Hugging Face Transformers with AWS Inferentia2★ 70
Hugging Face Blog1143d agoReleaseHugging Face 與 AWS 合作，透過 optimum-neuron 工具套件，簡化了在 AWS Inferentia2 (Inf2) 實例上部署 Transformers 模型的流程。開發者現在可以輕鬆將 PyTorch 模型編譯並運行於專為深度學習推理設計的 Inf2 晶片上。這項整合不僅大幅降低了雲端推理成本，還顯著提升了模型吞吐量並降低延遲。
Building a GPT-3 app with Next.js and Vercel Edge Functions
Vercel Changelog1217d agoTutorial本教學介紹如何使用 Next.js 和 Vercel Edge Functions 構建 GPT-3 應用。透過 Edge Runtime 的 Web Streams API，開發者可以實現打字機式的即時文字串流（Streaming）輸出，這不僅能繞過傳統 Serverless 函數的超時限制，還能消除冷啟動延遲，大幅提升 AI 應用的使用者體驗。
Deploying AI-driven apps on Vercel
Vercel Changelog1224d agoTutorial本文介紹在 Vercel 部署 AI 應用的最佳實踐。透過 Vercel Edge Functions，開發者可以突破傳統 Serverless 的超時限制，並利用 Server-Sent Events (SSE) 實現 ChatGPT 式的即時文字串流響應。此外，Vercel 也提供多款一鍵部署的 AI 模板，幫助開發者快速整合 OpenAI、Replicate 等主流 AI 服務。