Reading today's open-closed performance gap★ 75
Interconnects (Nathan L.)43d agoOpinion本文探討了比較開源（如 Llama）與閉源（如 GPT、Claude）模型時，過度依賴單一評估指標（如 MMLU 或 Arena Elo）的盲點。作者指出，基準測試受提示詞敏感度、測試集污染及後訓練（Post-training）策略影響極大。未來，隨著推理期計算（Inference-time compute）與 Agent 應用的興起，評估模型性能的維度將發生根本性轉變。
Gemma 4 and what makes an open model succeed★ 75
Interconnects (Nathan L.)60d agoCommentary隨著 Google 推出 Gemma 4，業界再次聚焦於「如何定義開源模型的成功」。Nathan Lambert 指出，單純追求基準測試（Benchmark）的高分已無法保證模型的普及。開源模型的真正成功，取決於其開發者生態系的接納度、微調的易用性、硬體適配度以及實際應用場景的落地，而非僅僅是學術榜單上的排名。
Measuring progress toward AGI: A cognitive framework★ 85
Google DeepMind Blog77d agoReleaseGoogle DeepMind 宣布推出一套用於衡量通用人工智慧（AGI）進展的「認知框架」，旨在解決傳統靜態基準測試容易因數據污染而失效的問題。該框架專注於評估系統的底層認知能力（如推理、規劃與學習）。同時，DeepMind 也在 Kaggle 上啟動了黑客松，邀請全球開發者與研究人員共同設計更具韌性、能真實反映 AGI 進程的評估工具。
Import AI 446: Nuclear LLMs; China's big AI benchmark; measurement and AI policy★ 75
Import AI (Jack Clark)99d agoCommentary本期 Import AI 探討了三個核心議題：首先是「核能 LLM」在能源與專業領域的應用與安全挑戰；其次是中國最新推出的國家級 AI 基準測試，展現其在評估本土模型上的野心；最後探討了 AI 評估與政策制定之間的關係，強調精確測量對監管的重要性。
Import AI 445: Timing superintelligence; AIs solve frontier math proofs; a new ML research benchmark★ 75
Import AI (Jack Clark)106d agoCommentary本期 Import AI 聚焦於三個核心議題：首先探討 2026 年是否將成為人類應對「技術奇點」與超級智能（Superintelligence）的關鍵轉折點；其次，分析 AI 在解決前沿數學證明上的最新突破，這象徵著推理能力的顯著提升；最後，介紹了一項評估機器學習研究能力的新基準，為衡量未來 AI 進展提供更客觀的尺度。
Import AI 444: LLM societies; Huawei makes kernels with AI; ChipBench★ 75
Import AI (Jack Clark)113d agoCommentary本期 Import AI 涵蓋三大前沿議題：首先探討如何量化 AI 的「創意」與 LLM 社會模擬（LLM societies）的最新進展；其次聚焦華為利用 AI 技術自動生成與優化作業系統核心（Kernel）的實踐，展示 AI 在系統級程式設計的潛力；最後介紹 ChipBench，這是一個評估 AI 在晶片設計與硬體描述語言（HDL）生成能力的全新基準測試。
Opus 4.6, Codex 5.3, and the post-benchmark era★ 80
Interconnects (Nathan L.)113d agoOpinion本文探討在 2026 年面對 Opus 4.6 與 Codex 5.3 等頂尖模型時，傳統靜態基準測試（如 MMLU）已完全失效。AI 評估正式進入「後基準時代」，重點轉向評估模型在複雜、多步驟的代理人任務（Agentic tasks）中的實際表現。未來，評估將更依賴動態環境、人類反饋與客製化的工作流模擬，而非單一的分數指標。
Community Evals: Because we're done trusting black-box leaderboards over the community★ 85
Hugging Face Blog118d agoReleaseHugging Face 宣布推出「Community Evals」計畫，旨在解決當前 AI 領域中「黑箱排行榜」缺乏透明度與容易被操弄的問題。該計畫強調開源、可重現性與社群驅動，讓全球開發者能共同參與評測標準的制定與驗證。這標誌著 AI 模型評估將從單一機構主導，走向更具公信力的集體智慧時代。
[AINews] Gemini 2.5 Flash completes the total domination of the Pareto Frontier★ 85
TLDR AI (Buttondown)410d agoReleaseGoogle 正式發表 Gemini 2.5 Flash，在 LMArena 的性價比曲線（Pareto Frontier）上展現極強的主導地位。此版本定價精準填補了 2.0 Flash 與 2.5 Pro 之間的空白。最受矚目的新功能是「思考預算（Thinking Budget）」，允許開發者精確設定思考 Token 的上限，相較於 OpenAI 與 Anthropic 僅提供粗略的強弱設定，給予開發者更細緻的控制權。社群普遍認為 Google 近期的執行力與產品發布節奏已完全甦醒。
[AINews] GPT 4.1: The New OpenAI Workhorse★ 85
TLDR AI (Buttondown)413d agoReleaseOpenAI 正式發表全新主力模型 GPT 4.1，定位為兼顧效能與成本的「工作馬（Workhorse）」。本次更新同步推出 MRCR 與 GraphWalks 兩項全新基準測試，並釋出官方 Prompt 指南與 Cookbook。此外，社群（如 Reddit 與 Discord）也熱烈討論 GLM-4 強化學習模型與 DeepSeek 的開源貢獻。
Introducing the Open Ko-LLM Leaderboard: Leading the Korean LLM Evaluation Ecosystem
Hugging Face Blog833d agoReleaseHugging Face 與韓國 AI 獨角獸 Upstage 合作推出「Open Ko-LLM 排行榜」，旨在解決韓語模型缺乏統一評估標準的問題。該排行榜基於開源社群力量，提供客觀的韓語 LLM 性能評比，涵蓋理解力、推理力及常識等多維度指標。此舉將大幅推動韓國本土開源 AI 生態系的發展，並為非英語系國家的 LLM 評估樹立新典範。