QIMMA قِمّة ⛰: A Quality-First Arabic LLM Leaderboard
Hugging Face Blog42d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上推出了名為「QIMMA」（阿拉伯語意為「山頂」）的全新阿拉伯語 LLM 排行榜。該排行榜主打「品質優先」，旨在解決現有阿拉伯語評估基準中常見的翻譯失真與缺乏方言代表性等問題。QIMMA 透過更嚴格、更貼近在地文化的評測標準，為阿拉伯語 AI 模型的開發提供更具公信力的衡量指標。
Alyah ⭐️: Toward Robust Evaluation of Emirati Dialect Capabilities in Arabic LLMs
Hugging Face Blog126d agoRelease阿聯酋技術創新研究所（TII）推出了名為「Alyah」的全新評估基準，專門用於測試阿拉伯語大型語言模型（LLMs）在阿聯酋方言（Emirati Dialect）上的表現。由於阿拉伯語方言眾多且與現代標準阿拉伯語（MSA）差異顯著，Alyah 填補了區域方言評估的空白。此基準將有助於開發更貼近在地文化與日常溝通的阿拉伯語 AI 模型。
📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
Hugging Face Blog305d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 發布了名為「3LM」的全新評估基準。該基準專為阿拉伯語大語言模型（LLM）設計，旨在測試其在科學、技術、工程、數學（STEM）以及程式碼編寫等高難度領域的能力。這填補了目前多語言 AI 評估中，阿拉伯語技術性評測工具不足的空白。
Falcon-Arabic: A Breakthrough in Arabic Language Models
Hugging Face Blog377d agoRelease阿布達比技術創新研究所（TII）在 Hugging Face 上發布了專為阿拉伯語設計的 Falcon-Arabic 模型。該模型旨在解決阿拉伯語在自然語言處理（NLP）中因複雜語法與方言多樣性帶來的挑戰。作為開源 Falcon 家族的新成員，Falcon-Arabic 將為中東及全球開發者提供更精準、高效的阿拉伯語 AI 解決方案。
The Open Arabic LLM Leaderboard 2
Hugging Face Blog477d agoReleaseHugging Face 宣布推出「開源阿拉伯語大語言模型排行榜 2.0」。本次更新旨在解決舊版基準過時與數據污染問題，引入了更具挑戰性的評測數據集，涵蓋推理、數學、文化理解等維度。新版本採用 Lighteval 評估工具並加強防作弊機制，為阿拉伯語 AI 研究提供更具公信力的評估標準。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。