What I’ve been building: ATOM Report, post-training course, finishing my book, and ongoing research★ 70
Interconnects (Nathan L.)48d agoRelease知名 AI 專家 Nathan Lambert 分享了近期四大專案：專注於對齊與開源模型的「ATOM Report」、系統化的「Post-Training（後訓練）」線上實戰課程、即將完稿的 AI 對齊專業書籍，以及持續進行的 LLM 評估與偏好微調研究。這些計畫旨在為開發者與研究人員填補後訓練技術的知識鴻溝。
GPT 5.4 is a big step for Codex★ 80
Interconnects (Nathan L.)76d agoCommentary本文探討了 GPT 5.4 對於 OpenAI 旗下 Codex（代碼與 Agent 生態）帶來的重大進展。作者 Nathan L. 深入評估了當前 AI Agent 的前沿發展，分析了 GPT 5.4 的進步。然而，儘管 GPT 5.4 取得了顯著突破，作者也解釋了在實際開發與評估中，他依然更傾向於選擇 Anthropic 的 Claude 的原因。
CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard
Hugging Face Blog509d agoCommentaryHugging Face 發表 Open LLM Leaderboard 的碳排放分析報告，探討模型評估過程中的能源消耗與 CO₂ 排放。研究指出，雖然大型模型性能優異，但其碳足跡也呈指數增長；相反地，透過模型量化與參數優化，能在大幅降低能耗的同時保持高水準性能。此報告呼籲社群在追求高分之餘，也應重視「綠色 AI」與運算效率。
BigCodeBench: The Next Generation of HumanEval★ 80
Hugging Face Blog714d agoRelease傳統的 HumanEval 程式碼評測基準已逐漸飽和且過於簡單。Hugging Face 與研究團隊合作推出新一代基準 BigCodeBench，包含 1,140 個實用編程任務，涵蓋 139 個第三方 Python 函式庫。此基準旨在考驗 LLM 在複雜、多步驟及真實開發場景下的程式碼生成與指令遵循能力，成為評估 Code LLM 的新一代標準。
Improving Prompt Consistency with Structured Generations★ 75
Hugging Face Blog763d agoTutorial本文深入探討如何利用結構化生成（Structured Generations）解決 LLM 輸出格式不穩定的痛點。透過約束解碼（Constrained Decoding）技術（如 Outlines 或 TGI），能強迫模型輸出符合特定 JSON Schema 的內容。文章分析了這種技術的運作原理、如何進行評估，以及它對模型推理品質與生成速度的實際影響，是開發 Production-ready AI 應用的必讀指南。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog830d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
Open LLM Leaderboard: DROP deep dive★ 75
Hugging Face Blog914d agoCommentaryHugging Face 針對 Open LLM 排行榜中的 DROP（離散推理）基準測試進行深度剖析。調查發現，許多開源模型之所以獲得異常高分，並非因為推理能力超越 GPT-4，而是源於對評估格式的過度擬合（Overfitting）或資料污染（Contamination）。為此，官方調整了評估與解析機制，使評分回歸真實水平，並呼籲社群建立更嚴謹的評估標準。