Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog560d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog561d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
AI SDK 4.0★ 85
Vercel Changelog561d agoReleaseVercel 推出 AI SDK 4.0，帶來重大架構變革。本次更新宣布將舊有的 React Server Components (RSC) 方案列為棄用，改為推薦使用更簡單、穩定的 AI SDK Core（如 streamText）與 AI SDK UI（如 useChat）組合。此外，新版本全面整合了 OpenTelemetry 監控，並優化了多模態與工具調用（Tool Calling）的開發體驗。
Eval-driven development: Build better AI faster★ 80
Vercel Changelog593d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Leveraging Vercel and the AI SDK to deliver a seamless, AI-powered experience as a solo founder★ 75
Vercel Changelog601d agoTutorial針對資源有限的獨立開發者，本文探討如何透過 Vercel 平台與 Vercel AI SDK 簡化 AI 應用開發。藉由 SDK 提供的統一 API、串流傳輸（Streaming）與 React Hooks，開發者能免去繁雜的後端架構管理，專注於打造流暢的用戶體驗，並實現快速迭代。
How Chatbase scaled rapidly with Vercel's developer experience and AI SDK
Vercel Changelog601d agoBusinessChatbase 作為領先的 AI 聊天機器人建構平台，面臨用戶爆發性成長的挑戰。透過採用 Vercel AI SDK，Chatbase 簡化了與多種大語言模型（LLM）的整合，並輕鬆實現串流與工具調用功能。結合 Vercel 的 Serverless 架構與預覽部署，Chatbase 的小型團隊得以專注於產品創新，無需分心於繁雜的基礎設施維護，成功實現高效擴展。
Transforming customer support with AI: How Vercel decreased tickets by 31%★ 75
Vercel Changelog637d agoOpinionVercel 分享了其內部利用 AI 變革客戶支援系統的實踐經驗。透過整合 Vercel AI SDK 與檢索增強生成（RAG）技術，Vercel 在用戶提交工單前即時提供精準解答。這項舉措不僅成功減少了 31% 的客服工單量，還大幅提升了客服團隊的作業效率，讓工程師能專注於更複雜的技術問題。
How to build scalable AI applications★ 75
Vercel Changelog659d agoTutorialVercel 探討了構建可擴展 AI 應用的核心挑戰與解決方案。文章指出，傳統網頁架構難以應對 AI 的高延遲與高成本，開發者應採用串流（Streaming）技術提升用戶體驗，並透過邊緣運算（Edge Functions）與快取機制降低延遲。此外，利用 Vercel AI SDK 的統一 API 與可觀測性工具，能有效簡化多模型管理並優化生產環境性能。
Vercel AI SDK 3.3★ 85
Vercel Changelog665d agoReleaseVercel 推出 AI SDK 3.3，重點更新包含：首度內建 OpenTelemetry 支援，讓開發者能深度監控 AI 呼叫效能與 Token 消耗；新增 maxSteps 參數，支援自動化多步驟工具調用（Multi-step Tool Calling），簡化 Agent 開發；並針對結構化輸出（streamObject）與各大主流模型 Provider 進行了效能優化。
How to integrate AI into your business★ 75
Vercel Changelog665d agoTutorialVercel 發布企業 AI 整合指南，指引企業如何從 AI 概念驗證走向生產環境。指南強調不應綁定單一模型，而應利用 Vercel AI SDK 建立多模型架構。此外，優秀的 AI 體驗需超越傳統聊天對話框，導入 Generative UI 與即時串流技術，並透過 Serverless 基礎設施與邊緣運算解決延遲與逾時問題，最後搭配完善的安全評估機制，確保企業級應用的穩定與安全。
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?★ 75
Hugging Face Blog678d agoPaper本文介紹了 Hugging Face 提出的 LAVE（LLM 輔助 VQA 評估）方法，並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標（如 ANLS）因過於嚴格而不利於 Zero-shot 模型，而 LAVE 利用 LLM 作為裁判，能更公正地評估模型。結果顯示，雖然強大 LLM 的 Zero-shot 能力顯著，但在特定文檔理解任務中，微調（Fine-tuning）依然是提升中小型模型性能的關鍵。
Introducing Vercel AI SDK 3.2★ 85
Vercel Changelog714d agoReleaseVercel 正式發布 AI SDK 3.2，本次更新帶來兩大核心功能：首先是全新的 `embed` 與 `embedMany` API，讓開發者能輕鬆生成向量嵌入以支援 RAG 應用；其次是支援 `maxSteps` 參數，實現自動化的多步驟工具調用（Multi-step Tool Calling），讓 AI 能在單次呼叫中連續執行多個工具，極大提升了建構 AI Agent 的效率與靈活性。
BigCodeBench: The Next Generation of HumanEval★ 80
Hugging Face Blog715d agoRelease傳統的 HumanEval 程式碼評測基準已逐漸飽和且過於簡單。Hugging Face 與研究團隊合作推出新一代基準 BigCodeBench，包含 1,140 個實用編程任務，涵蓋 139 個第三方 Python 函式庫。此基準旨在考驗 LLM 在複雜、多步驟及真實開發場景下的程式碼生成與指令遵循能力，成為評估 Code LLM 的新一代標準。
Getting started with AI: Advice from the experts at Vercel Ship★ 75
Vercel Changelog719d agoTutorial在 Vercel Ship 大會後，官方整理了專家們對於開發者如何入門 AI 的核心建議。文章強調開發者不需從頭訓練模型，應專注於利用現成 API 與 Vercel AI SDK 進行整合。專家指出，優化 AI 應用的關鍵在於提升使用者體驗（如串流輸出）與實作工具呼叫（Tool Calling），並建議從簡單的 Prompt 工程開始，逐步引入 RAG 與評估機制。
Replicate Intelligence #1★ 75
Replicate Blog740d agoCommentaryReplicate 發布首期技術精選，聚焦三大 AI 前沿進展：首先是引導開發者從零開始用 PyTorch 實作 Llama 3 架構；其次介紹了結合錄影與 AI 檢索的開源智慧眼鏡專案；最後深入探討了 Anthropic 利用「字典學習」（SAE）成功提取並控制 Claude 3 內部概念特徵的里程碑研究。
7 AI features you can add to your app today★ 75
Vercel Changelog754d agoTutorialVercel 官方部落格整理了 7 個現代網頁應用必備的 AI 功能，並展示如何利用 Vercel AI SDK 快速實現。這些功能涵蓋了即時串流聊天、結構化 JSON 輸出、工具調用（Tool Calling）、動態生成式 UI（Generative UI）、語意搜尋（RAG）、圖像生成以及語音整合。這篇文章為想要提升產品體驗的 Web 開發者提供了具體的實作方向與程式碼範例。
Vercel AI SDK 3.1: ModelFusion joins the team★ 85
Vercel Changelog761d agoReleaseVercel 正式發布 AI SDK 3.1，並宣布開源專案 ModelFusion 的創辦人 Lars Grammel 加入 Vercel 團隊。本次更新引入了全新的 Core API（如 generateText 與 streamText），提供統一且型別安全的介面來操作各大 LLM。此外，新版本大幅簡化了結構化資料生成（Structured Outputs）與工具調用（Tool Calling）的開發流程。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog778d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Composable AI for ecommerce: Hands-on with Vercel’s AI SDK★ 75
Vercel Changelog784d agoTutorial本指南介紹如何將 Vercel AI SDK 應用於電子商務，實現「可組合式 AI（Composable AI）」。開發者可以輕鬆整合多種 LLM，並利用 Generative UI 技術，讓 AI 助手在對話中直接渲染動態的商品卡片、購物車與結帳元件，大幅提升電商平台的互動率與轉換率。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog820d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
Introducing AI SDK 3.0 with Generative UI support★ 85
Vercel Changelog823d agoReleaseVercel 推出 AI SDK 3.0，核心亮點為「Generative UI」支援。此版本突破了傳統 AI 僅能輸出文字或 JSON 的限制，開發者現在可以讓 LLM 根據上下文，直接動態決定並串流渲染 React 伺服器元件（RSC），如天氣圖表、機票卡片等，大幅提升 AI 應用的互動體驗與開發效率。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog831d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog852d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog854d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog856d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
Introducing the Vercel AI SDK★ 85
Vercel Changelog1083d agoReleaseVercel 正式推出 Vercel AI SDK，這是一款專為 JavaScript 和 TypeScript 開發者設計的開源庫。它能幫助開發者輕鬆在 Next.js、React、Svelte 等前端框架中構建 AI 聊天與生成界面。SDK 核心亮點在於內建強大的串流（Streaming）支援、提供 useChat 等便捷的 React Hooks，並無縫相容 OpenAI、Anthropic 等主流 LLM 提供商。
Can foundation models label data like humans?★ 75
Hugging Face Blog1087d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1226d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。