QIMMA قِمّة ⛰: A Quality-First Arabic LLM Leaderboard
Hugging Face Blog42d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上推出了名為「QIMMA」（阿拉伯語意為「山頂」）的全新阿拉伯語 LLM 排行榜。該排行榜主打「品質優先」，旨在解決現有阿拉伯語評估基準中常見的翻譯失真與缺乏方言代表性等問題。QIMMA 透過更嚴格、更貼近在地文化的評測標準，為阿拉伯語 AI 模型的開發提供更具公信力的衡量指標。
Inside VAKRA: Reasoning, Tool Use, and Failure Modes of Agents★ 75
Hugging Face Blog48d agoReleaseIBM Research 於 Hugging Face 發表全新基準測試「VAKRA」的分析報告。該測試專為評估 AI Agent 的核心能力而設計，著重於複雜的多步驟推理與動態工具調用。研究不僅評估了主流模型在 Agent 任務中的表現，更系統化地歸納出 Agent 的各類失敗模式（如工具誤用、推理漂移等），為開發者優化 Agent 系統提供關鍵指引。
IBM and UC Berkeley Diagnose Why Enterprise Agents Fail Using IT-Bench and MAST★ 80
Hugging Face Blog104d agoReleaseIBM 研究中心與柏克萊加州大學（UC Berkeley）合作發表了 IT-Bench 基準測試與 MAST 診斷框架。IT-Bench 模擬了真實的企業 IT 運維環境，而 MAST 則專門用來剖析 AI Agent 在執行多步驟任務時失敗的深層原因。研究指出，企業級 Agent 的失敗往往源於工具調用錯誤、狀態追蹤失效及錯誤累積，而非單純的 LLM 能力不足，這為未來 AIOps 的優化提供了明確方向。
Alyah ⭐️: Toward Robust Evaluation of Emirati Dialect Capabilities in Arabic LLMs
Hugging Face Blog126d agoRelease阿聯酋技術創新研究所（TII）推出了名為「Alyah」的全新評估基準，專門用於測試阿拉伯語大型語言模型（LLMs）在阿聯酋方言（Emirati Dialect）上的表現。由於阿拉伯語方言眾多且與現代標準阿拉伯語（MSA）差異顯著，Alyah 填補了區域方言評估的空白。此基準將有助於開發更貼近在地文化與日常溝通的阿拉伯語 AI 模型。
AssetOpsBench: Bridging the Gap Between AI Agent Benchmarks and Industrial Reality★ 75
Hugging Face Blog132d agoReleaseIBM Research 在 Hugging Face 上推出了 AssetOpsBench 互動遊樂場。這是一項專門針對工業資產營運（AssetOps）設計的 AI Agent 基準測試，旨在解決現有評估工具偏重軟體工程或網頁瀏覽，而缺乏工業實際場景的問題。它評估 Agent 在面對複雜工業手冊、感測器數據及企業資產管理系統時的規劃、工具調用與推理能力。
BigCodeArena: Judging code generations end to end with code executions★ 75
Hugging Face Blog238d agoReleaseHugging Face 與 BigCode 合作推出全新評測平台「BigCodeArena」。該平台主打「端到端實際執行（Execution-based）」評測機制，將模型生成的程式碼置於安全沙盒中運行並進行單元測試。這解決了傳統「LLM 當裁判」或靜態分析無法驗證程式碼真實可用性的痛點，為開發者與研究人員提供更具公信力的 Code LLM 排行榜。
🇵🇭 FilBench - Can LLMs Understand and Generate Filipino?
Hugging Face Blog294d agoReleaseHugging Face 發表全新評測基準「FilBench」，旨在評估 LLM 在菲律賓語上的理解與生成能力。由於菲律賓語在 NLP 領域常被視為資源較匱乏的語言，此基準填補了評測空白。FilBench 涵蓋多種任務，能協助研究人員與開發者客觀評估並優化模型在東南亞在地化應用的表現。
Measuring Open-Source Llama Nemotron Models on DeepResearch Bench★ 80
Hugging Face Blog301d agoReleaseNVIDIA 在 Hugging Face 部落格分享了其開源且可移植的深度研究 Agent 成果。透過在 DeepResearch Bench 基準測試上評估開源的 Llama Nemotron 模型，該系統展現出極佳的研究與推理能力。此研究證明了開源模型在複雜、多步驟的研究任務中，已具備與閉源頂尖模型競爭的實力，為開發者提供了一個強大且可本地部署的 Deep Research 解決方案。
📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
Hugging Face Blog305d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 發布了名為「3LM」的全新評估基準。該基準專為阿拉伯語大語言模型（LLM）設計，旨在測試其在科學、技術、工程、數學（STEM）以及程式碼編寫等高難度領域的能力。這填補了目前多語言 AI 評估中，阿拉伯語技術性評測工具不足的空白。
TTS Arena: Benchmarking Text-to-Speech Models in the Wild★ 75
Hugging Face Blog826d agoNew ToolHugging Face 發表全新語音模型評測平台「TTS Arena」。該平台借鑑了 LMSYS Chatbot Arena 的群眾外包盲測機制，讓使用者聆聽兩段由不同匿名 TTS 模型生成的語音並進行投票。透過 Elo 評分系統，TTS Arena 旨在解決傳統客觀指標無法準確反映人類聽覺偏好的痛點，建立一個客觀且動態的語音合成模型排行榜。