ITBench-AA: Frontier Models Score Below 50% on Enterprise IT Tasks★ 72
Hugging Face Blog6d agoBenchmarkArtificial Analysis and IBM present ITBench-AA, described in the title as the first benchmark for agentic enterprise IT tasks. The headline result is that frontier models score below 50%, suggesting current systems still struggle with enterprise-grade agent workflows. The original article text is unavailable here, so task design, evaluated models, scoring methodology, and rankings cannot be confirmed.
Import AI 447: The AGI economy; testing AIs with generated games; and agent ecologies ★ 75
Import AI (Jack Clark)92d agoOpinion本期 Import AI 深入探討了三個前沿議題：首先是「AGI 經濟」，分析當算力與能源成為核心資源時，超智慧生態建築（Arcology）的運作模式；其次是「生成式遊戲測試」，指出傳統基準測試已飽和，未來將透過即時生成的遊戲來評估 AI 的泛化與規劃能力；最後是「Agent 生態學」，展望多智慧體在共享環境中互動、競爭與演化的未來趨勢。
The Open Evaluation Standard: Benchmarking NVIDIA Nemotron 3 Nano with NeMo Evaluator★ 70
Hugging Face Blog167d agoTutorialNVIDIA 與 Hugging Face 合作介紹「開放評測標準」，展示如何利用 NeMo Evaluator 工具對輕量級模型 Nemotron 3 Nano 進行系統化基準測試。此指南提供了一套可重現的評測食譜（Recipe），幫助開發者在邊緣設備或資源受限環境中，精確評估小模型的性能與偏差，推動開源社群的評測透明度。
Rethinking how we measure AI intelligence★ 78
Google DeepMind Blog222d agoNew ToolGoogle DeepMind 發表全新開源平台「Game Arena」，旨在解決傳統 AI 基準測試逐漸失效的問題。該平台讓不同的前沿 AI 模型在具有明確勝負規則的遊戲環境中進行直接對決。透過這種動態且具對抗性的方式，Game Arena 能更精準、客觀地評估 AI 的決策與推理能力，為 AI 領域提供更具公信力的衡量標準。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog532d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Introducing the Open Arabic LLM Leaderboard
Hugging Face Blog749d agoReleaseHugging Face 宣布推出「Open Arabic LLM Leaderboard」，這是一個專為阿拉伯語大語言模型設計的開源評測排行榜。該平台旨在解決阿拉伯語在 AI 評測上的資源匱乏問題，透過多維度的基準測試（如文化理解、推理與語言生成），幫助社群客觀評估並推動阿拉伯語 AI 模型的發展。
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face★ 75
Hugging Face Blog760d agoNew ToolHugging Face 宣布與獨立評測機構 Artificial Analysis 合作，將其 LLM 效能排行榜引入平台。該榜單不僅評估模型品質，更著重於實際部署指標，如吞吐量（Tokens/sec）、首字延遲（TTFT）與每百萬 Token 的成本。這讓開發者在選擇模型與託管服務商（如 Groq、Together AI 等）時，能有更直觀且數據驅動的決策依據。
Llama 2 on Amazon SageMaker a Benchmark
Hugging Face Blog980d agoTutorialHugging Face 針對 Llama 2 (7B、13B、70B) 在 Amazon SageMaker 上的部署進行了全面的效能基準測試。測試涵蓋了多種 AWS g5 與 p4 實例，評估指標包括首字延遲 (TTFT)、吞吐量 (tokens/sec) 與成本。這份指南能幫助開發者在部署開源大模型時，在效能與雲端預算之間取得最佳平衡。
What's going on with the Open LLM Leaderboard?★ 75
Hugging Face Blog1075d agoCommentary本文探討 Hugging Face Open LLM 排行榜上模型分數（特別是 MMLU）與官方論文宣稱不一致的原因。Hugging Face 指出，評測對 Prompt 格式、Few-shot 設定及 Token 機率計算方式極為敏感。為了確保公平與可重複性，排行榜統一採用 EleutherAI 的 lm-evaluation-harness，呼籲社群建立標準化評測規範。