阿聯酋技術創新研究所(TII)在 Hugging Face 上推出了名為「QIMMA」(阿拉伯語意為「山頂」)的全新阿拉伯語 LLM 排行榜。該排行榜主打「品質優先」,旨在解決現有阿拉伯語評估基準中常見的翻譯失真與缺乏方言代表性等問題。QIMMA 透過更嚴格、更貼近在地文化的評測標準,為阿拉伯語 AI 模型的開發提供更具公信力的衡量指標。
IBM 研究中心與柏克萊加州大學(UC Berkeley)合作發表了 IT-Bench 基準測試與 MAST 診斷框架。IT-Bench 模擬了真實的企業 IT 運維環境,而 MAST 則專門用來剖析 AI Agent 在執行多步驟任務時失敗的深層原因。研究指出,企業級 Agent 的失敗往往源於工具調用錯誤、狀態追蹤失效及錯誤累積,而非單純的 LLM 能力不足,這為未來 AIOps 的優化提供了明確方向。
IBM Research 在 Hugging Face 上推出了 AssetOpsBench 互動遊樂場。這是一項專門針對工業資產營運(AssetOps)設計的 AI Agent 基準測試,旨在解決現有評估工具偏重軟體工程或網頁瀏覽,而缺乏工業實際場景的問題。它評估 Agent 在面對複雜工業手冊、感測器數據及企業資產管理系統時的規劃、工具調用與推理能力。
NVIDIA 在 Hugging Face 部落格分享了其開源且可移植的深度研究 Agent 成果。透過在 DeepResearch Bench 基準測試上評估開源的 Llama Nemotron 模型,該系統展現出極佳的研究與推理能力。此研究證明了開源模型在複雜、多步驟的研究任務中,已具備與閉源頂尖模型競爭的實力,為開發者提供了一個強大且可本地部署的 Deep Research 解決方案。
Hugging Face 發表全新語音模型評測平台「TTS Arena」。該平台借鑑了 LMSYS Chatbot Arena 的群眾外包盲測機制,讓使用者聆聽兩段由不同匿名 TTS 模型生成的語音並進行投票。透過 Elo 評分系統,TTS Arena 旨在解決傳統客觀指標無法準確反映人類聽覺偏好的痛點,建立一個客觀且動態的語音合成模型排行榜。