The Open Agent Leaderboard★ 80
Hugging Face Blog15d agoReleaseHugging Face 與 IBM Research 合作發表「Open Agent Leaderboard」，這是一個專為 AI 智能體（Agent）設計的全新開源排行榜。傳統的 LLM 評測難以衡量模型在實際任務中的多步驟規劃與工具調用能力，該排行榜整合了多個主流 Agent 評測集，提供客觀、標準化的評估標準，推動開源 Agent 生態系的發展。
Adding Benchmaxxer Repellant to the Open ASR Leaderboard★ 75
Hugging Face Blog27d agoReleaseHugging Face 宣布為其 Open ASR（自動語音識別）排行榜引入「Benchmaxxer 驅逐劑」。此舉旨在解決模型開發者針對公開基準測試集進行過度優化（即「刷榜」）的問題。通過引入未公開的私有評估數據集，該排行榜將能更真實地反映 ASR 模型在實際應用中的泛化能力，防止虛高的排名誤導社群。
QIMMA قِمّة ⛰: A Quality-First Arabic LLM Leaderboard
Hugging Face Blog42d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上推出了名為「QIMMA」（阿拉伯語意為「山頂」）的全新阿拉伯語 LLM 排行榜。該排行榜主打「品質優先」，旨在解決現有阿拉伯語評估基準中常見的翻譯失真與缺乏方言代表性等問題。QIMMA 透過更嚴格、更貼近在地文化的評測標準，為阿拉伯語 AI 模型的開發提供更具公信力的衡量指標。
Inside VAKRA: Reasoning, Tool Use, and Failure Modes of Agents★ 75
Hugging Face Blog48d agoReleaseIBM Research 於 Hugging Face 發表全新基準測試「VAKRA」的分析報告。該測試專為評估 AI Agent 的核心能力而設計，著重於複雜的多步驟推理與動態工具調用。研究不僅評估了主流模型在 Agent 任務中的表現，更系統化地歸納出 Agent 的各類失敗模式（如工具誤用、推理漂移等），為開發者優化 Agent 系統提供關鍵指引。
A New Framework for Evaluating Voice Agents (EVA)★ 75
Hugging Face Blog70d agoReleaseServiceNow AI 在 Hugging Face 上發布了名為「EVA」（Evaluating Voice Agents）的全新開源評估框架。該框架旨在解決傳統文字 LLM 評估無法涵蓋語音互動特性的痛點，專注於即時延遲、語音打斷、輪替（Turn-taking）及語意理解等多維度指標。這為開發下一代即時語音助理（如類似 GPT-4o 或 Gemini Live 的應用）提供了標準化的測試基準。
IBM and UC Berkeley Diagnose Why Enterprise Agents Fail Using IT-Bench and MAST★ 80
Hugging Face Blog104d agoReleaseIBM 研究中心與柏克萊加州大學（UC Berkeley）合作發表了 IT-Bench 基準測試與 MAST 診斷框架。IT-Bench 模擬了真實的企業 IT 運維環境，而 MAST 則專門用來剖析 AI Agent 在執行多步驟任務時失敗的深層原因。研究指出，企業級 Agent 的失敗往往源於工具調用錯誤、狀態追蹤失效及錯誤累積，而非單純的 LLM 能力不足，這為未來 AIOps 的優化提供了明確方向。
OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments★ 75
Hugging Face Blog110d agoNew ToolHugging Face 介紹了開源評估框架 OpenEnv 的實務應用。該框架旨在解決傳統靜態基準測試的不足，提供模擬真實世界（如作業系統、網頁瀏覽、API 呼叫）的動態環境。透過 OpenEnv，開發者能更準確地測試 AI Agent 在面對網路延遲、非預期錯誤及多步驟規劃時的真實表現，是推動 Agent 走向實用化的關鍵工具。
Alyah ⭐️: Toward Robust Evaluation of Emirati Dialect Capabilities in Arabic LLMs
Hugging Face Blog126d agoRelease阿聯酋技術創新研究所（TII）推出了名為「Alyah」的全新評估基準，專門用於測試阿拉伯語大型語言模型（LLMs）在阿聯酋方言（Emirati Dialect）上的表現。由於阿拉伯語方言眾多且與現代標準阿拉伯語（MSA）差異顯著，Alyah 填補了區域方言評估的空白。此基準將有助於開發更貼近在地文化與日常溝通的阿拉伯語 AI 模型。
AssetOpsBench: Bridging the Gap Between AI Agent Benchmarks and Industrial Reality★ 75
Hugging Face Blog132d agoReleaseIBM Research 在 Hugging Face 上推出了 AssetOpsBench 互動遊樂場。這是一項專門針對工業資產營運（AssetOps）設計的 AI Agent 基準測試，旨在解決現有評估工具偏重軟體工程或網頁瀏覽，而缺乏工業實際場景的問題。它評估 Agent 在面對複雜工業手冊、感測器數據及企業資產管理系統時的規劃、工具調用與推理能力。
FACTS Benchmark Suite: Systematically evaluating the factuality of large language models★ 80
Google DeepMind Blog175d agoReleaseGoogle DeepMind 發表全新的 FACTS 基準測試套件，專門用於系統化評估大型語言模型（LLM）的真實性。該套件解決了現有評估方法不夠全面或難以標準化的痛點，透過多維度的測試集與自動化評估指標，幫助研究人員與開發者精確量化模型的「幻覺」程度。這對於提升 AI 在高風險領域（如醫療、法律、金融）的實用性與信任度具有重要意義。
BigCodeArena: Judging code generations end to end with code executions★ 75
Hugging Face Blog238d agoReleaseHugging Face 與 BigCode 合作推出全新評測平台「BigCodeArena」。該平台主打「端到端實際執行（Execution-based）」評測機制，將模型生成的程式碼置於安全沙盒中運行並進行單元測試。這解決了傳統「LLM 當裁判」或靜態分析無法驗證程式碼真實可用性的痛點，為開發者與研究人員提供更具公信力的 Code LLM 排行榜。
Introducing RTEB: A New Standard for Retrieval Evaluation★ 80
Hugging Face Blog244d agoReleaseHugging Face 發表全新檢索評估標準 RTEB（Retrieval Evaluation Benchmark）。相較於專注向量表徵的 MTEB，RTEB 更著重於 RAG 實戰中的端到端檢索表現。它涵蓋了混合檢索、重排（Reranking）及多跳推理等複雜場景，並提供開源評估工具，幫助開發者與研究人員精準衡量檢索器在真實應用中的效能。
Gaia2 and ARE: Empowering the community to study agents★ 85
Hugging Face Blog253d agoReleaseHugging Face 正式發表 Gaia2 基準測試與 ARE (Agent Run Environment) 框架。Gaia2 延續前代精神，設計了更複雜、防污染且貼近真實世界的多模態任務；而 ARE 則提供安全沙盒化的執行環境，解決了 Agent 測試中重現性低與安全風險的痛點。這套組合將大幅降低社群研究與評估 AI Agent 的門檻。
🇵🇭 FilBench - Can LLMs Understand and Generate Filipino?
Hugging Face Blog294d agoReleaseHugging Face 發表全新評測基準「FilBench」，旨在評估 LLM 在菲律賓語上的理解與生成能力。由於菲律賓語在 NLP 領域常被視為資源較匱乏的語言，此基準填補了評測空白。FilBench 涵蓋多種任務，能協助研究人員與開發者客觀評估並優化模型在東南亞在地化應用的表現。
TextQuests: How Good are LLMs at Text-Based Video Games?★ 75
Hugging Face Blog294d agoReleaseHugging Face 發表全新基準測試「TextQuests」，旨在評估大型語言模型（LLM）在文字冒險遊戲（如 Zork）中的表現。這類遊戲要求模型具備強大的自然語言理解、常識推理、長期規劃與狀態追蹤能力。測試結果顯示，儘管現今 LLM 在傳統基準上表現優異，但在面對需要多步驟決策與試錯的文字遊戲時仍面臨極大挑戰。
Measuring Open-Source Llama Nemotron Models on DeepResearch Bench★ 80
Hugging Face Blog301d agoReleaseNVIDIA 在 Hugging Face 部落格分享了其開源且可移植的深度研究 Agent 成果。透過在 DeepResearch Bench 基準測試上評估開源的 Llama Nemotron 模型，該系統展現出極佳的研究與推理能力。此研究證明了開源模型在複雜、多步驟的研究任務中，已具備與閉源頂尖模型競爭的實力，為開發者提供了一個強大且可本地部署的 Deep Research 解決方案。
📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
Hugging Face Blog305d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 發布了名為「3LM」的全新評估基準。該基準專為阿拉伯語大語言模型（LLM）設計，旨在測試其在科學、技術、工程、數學（STEM）以及程式碼編寫等高難度領域的能力。這填補了目前多語言 AI 評估中，阿拉伯語技術性評測工具不足的空白。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog314d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
Back to The Future: Evaluating AI Agents on Predicting Future Events★ 75
Hugging Face Blog320d agoReleaseHugging Face 發表全新基準測試「FutureBench」，旨在評估 AI Agent 在預測未來事件（如地緣政治、金融市場及科技趨勢）上的表現。該測試挑戰了 Agent 的資訊檢索、機率推理與時間推理能力，有效避免了傳統基準測試中常見的資料洩漏問題。評估結果顯示，目前的 AI Agent 在面對未知的未來事件時，預測準確度與人類專家仍有顯著差距。
ScreenEnv: Deploy your full stack Desktop Agent★ 82
Hugging Face Blog327d agoNew ToolHugging Face 介紹了 ScreenEnv，這是一個旨在簡化「電腦使用（Computer Use）」AI 代理部署的開源環境。它提供類似 Gym 的標準化接口，讓開發者能在安全的虛擬桌面（如 Docker/VM）中，利用多模態模型（如 Claude 或 GPT）進行滑鼠、鍵盤與螢幕視覺的完整互動，非常適合開發自動化工作流與 GUI 代理。
ScreenSuite - The most comprehensive evaluation suite for GUI Agents!★ 80
Hugging Face Blog361d agoNew ToolHugging Face 發表了 ScreenSuite，這是目前最全面的圖形使用者介面（GUI）Agent 評估套件。它解決了現有評估工具平台單一、任務簡單的問題，提供跨 Web、桌面與行動裝置的標準化測試環境。ScreenSuite 整合了多樣化的真實世界任務與嚴格的評估指標，幫助開發者精確衡量 Agent 的視覺導航與操作能力。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
DABStep: Data Agent Benchmark for Multi-step Reasoning★ 75
Hugging Face Blog483d agoReleaseHugging Face 推出全新基準測試「DABStep」，旨在評估 AI 數據代理（Data Agent）執行多步驟推理的能力。DABStep 模擬了真實世界的複雜數據分析場景，要求 AI 規劃步驟、撰寫並執行程式碼、處理多種數據格式，並進行錯誤修正。此基準測試為開發更實用、更具規劃能力的數據分析 AI 助手提供了客觀的評估標準。
Evaluating Audio Reasoning with Big Bench Audio★ 75
Hugging Face Blog529d agoReleaseHugging Face 發表了「Big Bench Audio」基準測試，旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識（ASR），而此基準則涵蓋語音、音樂、環境音等多元任務，考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Introducing the Open Leaderboard for Japanese LLMs!★ 75
Hugging Face Blog559d agoNew ToolHugging Face 宣布推出專為日語設計的「開放式日語 LLM 排行榜」。該排行榜旨在解決現有英文基準無法準確評估日語能力的問題，採用了多個日語標準評測數據集。這將為開發者與研究人員提供一個公開、透明且可重複驗證的平台，用以評估與比較各類開源日語大語言模型的表現。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog559d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog560d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Introducing the Open FinLLM Leaderboard★ 75
Hugging Face Blog606d agoReleaseHugging Face 宣布推出「Open FinLLM Leaderboard」，這是一個專為金融領域大語言模型（FinLLMs）設計的開源評測排行榜。該排行榜旨在解決通用評測基準無法準確反映金融專業能力的問題，透過多維度的金融數據集（如情感分析、關係抽取、金融問答等）來評估模型。這為金融機構與研究人員在選擇、微調和部署金融 AI 模型時，提供了一個透明且標準化的參考依據。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog609d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。