The Open Arabic LLM Leaderboard 2
Hugging Face Blog477d agoReleaseHugging Face 宣布推出「開源阿拉伯語大語言模型排行榜 2.0」。本次更新旨在解決舊版基準過時與數據污染問題，引入了更具挑戰性的評測數據集，涵蓋推理、數學、文化理解等維度。新版本採用 Lighteval 評估工具並加強防作弊機制，為阿拉伯語 AI 研究提供更具公信力的評估標準。
Evaluating Audio Reasoning with Big Bench Audio★ 75
Hugging Face Blog529d agoReleaseHugging Face 發表了「Big Bench Audio」基準測試，旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識（ASR），而此基準則涵蓋語音、音樂、環境音等多元任務，考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs★ 75
Hugging Face Blog544d agoCommentary本文介紹了 Hugging Face、Keras 與 Google TPU 團隊合作的最新實驗，旨在評估大語言模型（LLM）在被指出錯誤後的「自我糾錯」能力。實驗採用類似 Chatbot Arena 的雙盲測試，利用 Keras 的多後端優勢與 TPU 的強大算力，測試多款開源模型。結果顯示，多數模型在沒有外部具體反饋的情況下，自我糾錯能力仍有極大提升空間。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Introducing the Open Leaderboard for Japanese LLMs!★ 75
Hugging Face Blog559d agoNew ToolHugging Face 宣布推出專為日語設計的「開放式日語 LLM 排行榜」。該排行榜旨在解決現有英文基準無法準確評估日語能力的問題，採用了多個日語標準評測數據集。這將為開發者與研究人員提供一個公開、透明且可重複驗證的平台，用以評估與比較各類開源日語大語言模型的表現。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog559d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog560d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
CinePile 2.0 - making stronger datasets with adversarial refinement★ 75
Hugging Face Blog587d agoReleaseCinePile 2.0 是一個專為長影片理解設計的問答資料集更新版本。本次更新引入了「對抗性精煉（Adversarial Refinement）」技術，旨在解決 LLM 生成干擾項過於簡單或存在偏誤的問題。透過篩選掉不需看影片就能回答的漏洞題目，CinePile 2.0 能更精準地評估多模態模型對複雜視覺與敘事邏輯的真實理解能力。
Introducing the Open FinLLM Leaderboard★ 75
Hugging Face Blog606d agoReleaseHugging Face 宣布推出「Open FinLLM Leaderboard」，這是一個專為金融領域大語言模型（FinLLMs）設計的開源評測排行榜。該排行榜旨在解決通用評測基準無法準確反映金融專業能力的問題，透過多維度的金融數據集（如情感分析、關係抽取、金融問答等）來評估模型。這為金融機構與研究人員在選擇、微調和部署金融 AI 模型時，提供了一個透明且標準化的參考依據。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog609d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
Launching the Artificial Analysis Text to Image Leaderboard & Arena★ 75
Hugging Face Blog726d agoNew ToolHugging Face 宣布與 Artificial Analysis 合作推出「文字生成圖片排行榜與競技場」（Text to Image Leaderboard & Arena）。該平台結合了類似 LMSYS 的人類盲測對決（Arena Elo 評分）以及客觀的效能指標（如生成速度與成本）。這為開發者與創作者提供了一個透明、標準化的基準，用以評估與比較市面上主流的開源與閉源圖像生成模型。
CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models★ 75
Hugging Face Blog739d agoReleaseMeta 推出開源安全評估框架 CyberSecEval 2，並與 Hugging Face 合作推廣。該框架旨在量化大語言模型（LLM）在網路安全領域的雙重用途風險，新增了自動化漏洞利用、惡意軟體分析及提示詞注入（Prompt Injection）等測試維度。這項工具能幫助開發者與安全研究人員，客觀評估如 Llama Guard 等安全防護模型在實際對抗中的防禦表現。
Introducing the Open Arabic LLM Leaderboard
Hugging Face Blog749d agoReleaseHugging Face 宣布推出「Open Arabic LLM Leaderboard」，這是一個專為阿拉伯語大語言模型設計的開源評測排行榜。該平台旨在解決阿拉伯語在 AI 評測上的資源匱乏問題，透過多維度的基準測試（如文化理解、推理與語言生成），幫助社群客觀評估並推動阿拉伯語 AI 模型的發展。
Introducing the Open Leaderboard for Hebrew LLMs!
Hugging Face Blog758d agoReleaseHugging Face 宣布推出「希伯來語 LLM 開放排行榜」（Open Leaderboard for Hebrew LLMs）。該平台旨在為希伯來語的大型語言模型提供客觀、標準化且開源的評估基準，解決非英語系語言在主流評測中資源匱乏的問題，有助於開發者評估與優化特定語系模型的表現。
Introducing the Open Chain of Thought Leaderboard★ 75
Hugging Face Blog770d agoReleaseHugging Face 發表「Open Chain of Thought (CoT) 排行榜」，旨在解決傳統基準測試無法有效評估模型推理過程的問題。該排行榜專注於數學、邏輯與科學等需要多步驟思考的任務，並提供公開透明的評測標準。這將幫助開發者與研究人員深入了解開源模型在複雜推理上的真實實力與瓶頸。
The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare★ 75
Hugging Face Blog774d agoReleaseHugging Face 與 Open Life Science AI 等機構合作推出「Open Medical-LLM Leaderboard」。該排行榜整合了 MedQA、MedMCQA、PubMedQA 及 MMLU 醫學子集等基準測試，旨在客觀評估 LLM 在醫療與臨床任務上的表現。這為醫療領域的 AI 研究人員與開發者提供了一個公開、標準化且易於比較的評估平台，有助於推動安全且精確的醫療 AI 發展。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog777d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Introducing the Chatbot Guardrails Arena★ 75
Hugging Face Blog803d agoReleaseHugging Face 與 Lighthouz AI 合作推出「Chatbot Guardrails Arena」，這是一個專為評估大語言模型（LLM）安全防護網（Guardrails）而設計的開源社群平台。該平台旨在測試各大模型與防護系統在面對惡意提示、越獄攻擊及敏感話題時的防禦能力。透過標準化的基準測試，開發者可以直觀地比較不同防護方案的優劣，構建更安全可靠的 AI 應用。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog819d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
Introducing the Open Ko-LLM Leaderboard: Leading the Korean LLM Evaluation Ecosystem
Hugging Face Blog833d agoReleaseHugging Face 與韓國 AI 獨角獸 Upstage 合作推出「Open Ko-LLM 排行榜」，旨在解決韓語模型缺乏統一評估標準的問題。該排行榜基於開源社群力量，提供客觀的韓語 LLM 性能評比，涵蓋理解力、推理力及常識等多維度指標。此舉將大幅推動韓國本土開源 AI 生態系的發展，並為非英語系國家的 LLM 評估樹立新典範。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog851d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog853d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog858d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
What's going on with the Open LLM Leaderboard?★ 75
Hugging Face Blog1075d agoCommentary本文探討 Hugging Face Open LLM 排行榜上模型分數（特別是 MMLU）與官方論文宣稱不一致的原因。Hugging Face 指出，評測對 Prompt 格式、Few-shot 設定及 Token 機率計算方式極為敏感。為了確保公平與可重複性，排行榜統一採用 EleutherAI 的 lm-evaluation-harness，呼籲社群建立標準化評測規範。
Evaluating Language Model Bias with 🤗 Evaluate
Hugging Face Blog1317d agoTutorialHugging Face 推出 evaluate 函式庫，旨在簡化機器學習模型的評估流程。本文重點介紹如何利用該工具評估語言模型中的偏見與毒性，包含使用 regard、toxicity 等評估指標。透過標準化的評估流程，開發者能更輕易地量化模型在性別、種族等維度上的潛在社會偏見，從而打造更安全、公平的 AI 應用。
MTEB: Massive Text Embedding Benchmark★ 85
Hugging Face Blog1322d agoReleaseHugging Face 發表了「海量文字嵌入基準（MTEB）」，這是目前最全面的文字嵌入模型評估工具。MTEB 涵蓋了 8 種不同的任務類型（如語義相似度、資訊檢索、分類等），共包含 58 個數據集，支援多達 112 種語言。此基準旨在解決過去評估嵌入模型時任務單一、缺乏多語言支持的問題，為開發者提供統一的評估標準。
Very Large Language Models and How to Evaluate Them★ 75
Hugging Face Blog1338d agoNew Tool隨著大型語言模型（LLM）體積急劇膨脹，如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作，將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本（Zero-shot）與少樣本（Few-shot）評估，這不僅簡化了評估流程，更促進了開源 AI 社群的基準測試透明度與可重複性。
Announcing Evaluation on the Hub
Hugging Face Blog1435d agoNew ToolHugging Face 宣布推出「Evaluation on the Hub」功能。用戶無需編寫任何程式碼，即可直接在瀏覽器中評估 Hub 上的模型與數據集。該功能與 AutoTrain 整合，評估結果會自動發布並連結至模型卡片，大幅提升了 AI 模型評估的便利性、透明度與可重複性。