The Open Agent Leaderboard★ 80
Hugging Face Blog15d agoReleaseHugging Face 與 IBM Research 合作發表「Open Agent Leaderboard」，這是一個專為 AI 智能體（Agent）設計的全新開源排行榜。傳統的 LLM 評測難以衡量模型在實際任務中的多步驟規劃與工具調用能力，該排行榜整合了多個主流 Agent 評測集，提供客觀、標準化的評估標準，推動開源 Agent 生態系的發展。
Adding Benchmaxxer Repellant to the Open ASR Leaderboard★ 75
Hugging Face Blog27d agoReleaseHugging Face 宣布為其 Open ASR（自動語音識別）排行榜引入「Benchmaxxer 驅逐劑」。此舉旨在解決模型開發者針對公開基準測試集進行過度優化（即「刷榜」）的問題。通過引入未公開的私有評估數據集，該排行榜將能更真實地反映 ASR 模型在實際應用中的泛化能力，防止虛高的排名誤導社群。
QIMMA قِمّة ⛰: A Quality-First Arabic LLM Leaderboard
Hugging Face Blog42d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上推出了名為「QIMMA」（阿拉伯語意為「山頂」）的全新阿拉伯語 LLM 排行榜。該排行榜主打「品質優先」，旨在解決現有阿拉伯語評估基準中常見的翻譯失真與缺乏方言代表性等問題。QIMMA 透過更嚴格、更貼近在地文化的評測標準，為阿拉伯語 AI 模型的開發提供更具公信力的衡量指標。
A New Framework for Evaluating Voice Agents (EVA)★ 75
Hugging Face Blog70d agoReleaseServiceNow AI 在 Hugging Face 上發布了名為「EVA」（Evaluating Voice Agents）的全新開源評估框架。該框架旨在解決傳統文字 LLM 評估無法涵蓋語音互動特性的痛點，專注於即時延遲、語音打斷、輪替（Turn-taking）及語意理解等多維度指標。這為開發下一代即時語音助理（如類似 GPT-4o 或 Gemini Live 的應用）提供了標準化的測試基準。
IBM and UC Berkeley Diagnose Why Enterprise Agents Fail Using IT-Bench and MAST★ 80
Hugging Face Blog104d agoReleaseIBM 研究中心與柏克萊加州大學（UC Berkeley）合作發表了 IT-Bench 基準測試與 MAST 診斷框架。IT-Bench 模擬了真實的企業 IT 運維環境，而 MAST 則專門用來剖析 AI Agent 在執行多步驟任務時失敗的深層原因。研究指出，企業級 Agent 的失敗往往源於工具調用錯誤、狀態追蹤失效及錯誤累積，而非單純的 LLM 能力不足，這為未來 AIOps 的優化提供了明確方向。
OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments★ 75
Hugging Face Blog110d agoNew ToolHugging Face 介紹了開源評估框架 OpenEnv 的實務應用。該框架旨在解決傳統靜態基準測試的不足，提供模擬真實世界（如作業系統、網頁瀏覽、API 呼叫）的動態環境。透過 OpenEnv，開發者能更準確地測試 AI Agent 在面對網路延遲、非預期錯誤及多步驟規劃時的真實表現，是推動 Agent 走向實用化的關鍵工具。
Alyah ⭐️: Toward Robust Evaluation of Emirati Dialect Capabilities in Arabic LLMs
Hugging Face Blog126d agoRelease阿聯酋技術創新研究所（TII）推出了名為「Alyah」的全新評估基準，專門用於測試阿拉伯語大型語言模型（LLMs）在阿聯酋方言（Emirati Dialect）上的表現。由於阿拉伯語方言眾多且與現代標準阿拉伯語（MSA）差異顯著，Alyah 填補了區域方言評估的空白。此基準將有助於開發更貼近在地文化與日常溝通的阿拉伯語 AI 模型。
AssetOpsBench: Bridging the Gap Between AI Agent Benchmarks and Industrial Reality★ 75
Hugging Face Blog132d agoReleaseIBM Research 在 Hugging Face 上推出了 AssetOpsBench 互動遊樂場。這是一項專門針對工業資產營運（AssetOps）設計的 AI Agent 基準測試，旨在解決現有評估工具偏重軟體工程或網頁瀏覽，而缺乏工業實際場景的問題。它評估 Agent 在面對複雜工業手冊、感測器數據及企業資產管理系統時的規劃、工具調用與推理能力。
FACTS Benchmark Suite: Systematically evaluating the factuality of large language models★ 80
Google DeepMind Blog175d agoReleaseGoogle DeepMind 發表全新的 FACTS 基準測試套件，專門用於系統化評估大型語言模型（LLM）的真實性。該套件解決了現有評估方法不夠全面或難以標準化的痛點，透過多維度的測試集與自動化評估指標，幫助研究人員與開發者精確量化模型的「幻覺」程度。這對於提升 AI 在高風險領域（如醫療、法律、金融）的實用性與信任度具有重要意義。
BigCodeArena: Judging code generations end to end with code executions★ 75
Hugging Face Blog238d agoReleaseHugging Face 與 BigCode 合作推出全新評測平台「BigCodeArena」。該平台主打「端到端實際執行（Execution-based）」評測機制，將模型生成的程式碼置於安全沙盒中運行並進行單元測試。這解決了傳統「LLM 當裁判」或靜態分析無法驗證程式碼真實可用性的痛點，為開發者與研究人員提供更具公信力的 Code LLM 排行榜。
Gaia2 and ARE: Empowering the community to study agents★ 85
Hugging Face Blog253d agoReleaseHugging Face 正式發表 Gaia2 基準測試與 ARE (Agent Run Environment) 框架。Gaia2 延續前代精神，設計了更複雜、防污染且貼近真實世界的多模態任務；而 ARE 則提供安全沙盒化的執行環境，解決了 Agent 測試中重現性低與安全風險的痛點。這套組合將大幅降低社群研究與評估 AI Agent 的門檻。
TextQuests: How Good are LLMs at Text-Based Video Games?★ 75
Hugging Face Blog294d agoReleaseHugging Face 發表全新基準測試「TextQuests」，旨在評估大型語言模型（LLM）在文字冒險遊戲（如 Zork）中的表現。這類遊戲要求模型具備強大的自然語言理解、常識推理、長期規劃與狀態追蹤能力。測試結果顯示，儘管現今 LLM 在傳統基準上表現優異，但在面對需要多步驟決策與試錯的文字遊戲時仍面臨極大挑戰。
🇵🇭 FilBench - Can LLMs Understand and Generate Filipino?
Hugging Face Blog294d agoReleaseHugging Face 發表全新評測基準「FilBench」，旨在評估 LLM 在菲律賓語上的理解與生成能力。由於菲律賓語在 NLP 領域常被視為資源較匱乏的語言，此基準填補了評測空白。FilBench 涵蓋多種任務，能協助研究人員與開發者客觀評估並優化模型在東南亞在地化應用的表現。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog314d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
ScreenEnv: Deploy your full stack Desktop Agent★ 82
Hugging Face Blog327d agoNew ToolHugging Face 介紹了 ScreenEnv，這是一個旨在簡化「電腦使用（Computer Use）」AI 代理部署的開源環境。它提供類似 Gym 的標準化接口，讓開發者能在安全的虛擬桌面（如 Docker/VM）中，利用多模態模型（如 Claude 或 GPT）進行滑鼠、鍵盤與螢幕視覺的完整互動，非常適合開發自動化工作流與 GUI 代理。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
DABStep: Data Agent Benchmark for Multi-step Reasoning★ 75
Hugging Face Blog483d agoReleaseHugging Face 推出全新基準測試「DABStep」，旨在評估 AI 數據代理（Data Agent）執行多步驟推理的能力。DABStep 模擬了真實世界的複雜數據分析場景，要求 AI 規劃步驟、撰寫並執行程式碼、處理多種數據格式，並進行錯誤修正。此基準測試為開發更實用、更具規劃能力的數據分析 AI 助手提供了客觀的評估標準。
Evaluating Audio Reasoning with Big Bench Audio★ 75
Hugging Face Blog529d agoReleaseHugging Face 發表了「Big Bench Audio」基準測試，旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識（ASR），而此基準則涵蓋語音、音樂、環境音等多元任務，考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog559d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Introducing the Open Leaderboard for Japanese LLMs!★ 75
Hugging Face Blog559d agoNew ToolHugging Face 宣布推出專為日語設計的「開放式日語 LLM 排行榜」。該排行榜旨在解決現有英文基準無法準確評估日語能力的問題，採用了多個日語標準評測數據集。這將為開發者與研究人員提供一個公開、透明且可重複驗證的平台，用以評估與比較各類開源日語大語言模型的表現。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog560d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Introducing the Open FinLLM Leaderboard★ 75
Hugging Face Blog606d agoReleaseHugging Face 宣布推出「Open FinLLM Leaderboard」，這是一個專為金融領域大語言模型（FinLLMs）設計的開源評測排行榜。該排行榜旨在解決通用評測基準無法準確反映金融專業能力的問題，透過多維度的金融數據集（如情感分析、關係抽取、金融問答等）來評估模型。這為金融機構與研究人員在選擇、微調和部署金融 AI 模型時，提供了一個透明且標準化的參考依據。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog609d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
Our Transformers Code Agent beats the GAIA benchmark 🏅★ 80
Hugging Face Blog701d agoReleaseHugging Face 發表全新的 Transformers Code Agent，透過讓 AI 撰寫並執行 Python 程式碼來解決複雜任務。該方法在評估通用 AI 助理能力的 GAIA 基準測試上取得了 SOTA（當前最佳）表現，證明了「程式碼執行」作為 Agent 推理工具，遠比傳統的 JSON 工具調用（Tool Calling）更具彈性與效率。此專案已完全開源，為開發者提供構建高效能 Agent 的新選擇。
BigCodeBench: The Next Generation of HumanEval★ 80
Hugging Face Blog714d agoRelease傳統的 HumanEval 程式碼評測基準已逐漸飽和且過於簡單。Hugging Face 與研究團隊合作推出新一代基準 BigCodeBench，包含 1,140 個實用編程任務，涵蓋 139 個第三方 Python 函式庫。此基準旨在考驗 LLM 在複雜、多步驟及真實開發場景下的程式碼生成與指令遵循能力，成為評估 Code LLM 的新一代標準。
The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare★ 75
Hugging Face Blog774d agoReleaseHugging Face 與 Open Life Science AI 等機構合作推出「Open Medical-LLM Leaderboard」。該排行榜整合了 MedQA、MedMCQA、PubMedQA 及 MMLU 醫學子集等基準測試，旨在客觀評估 LLM 在醫療與臨床任務上的表現。這為醫療領域的 AI 研究人員與開發者提供了一個公開、標準化且易於比較的評估平台，有助於推動安全且精確的醫療 AI 發展。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog777d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog819d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog851d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。