Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
Train AI models with Unsloth and Hugging Face Jobs for FREE★ 85
Hugging Face Blog102d agoNew ToolHugging Face 宣布與極速微調工具 Unsloth 合作，推出免費的 AI 模型訓練方案。使用者可以透過 Hugging Face Jobs 平台，直接在雲端免費運行 Unsloth 的高效微調任務。這項合作大幅降低了個人開發者與研究人員微調 Llama 3、Gemma 等開源大模型的門檻與成本。
An Opinionated Guide to Using AI Right Now★ 85
One Useful Thing (Mollick)226d agoTutorial賓州大學華頓商學院教授 Ethan Mollick 釋出最新 AI 實用指南。他指出，目前主流模型各有擅場：Claude 3.5 Sonnet 適合寫作與程式，GPT-4o 語音與綜合能力強，Gemini 則以超大上下文見長。他強調，使用者應將 AI 視為「聰明但缺乏經驗的實習生」，透過持續對話與回饋來突破「不規則邊界（Jagged Frontier）」，才能真正發揮 AI 的生產力潛能。
Announcing NeurIPS 2025 E2LM Competition: Early Training Evaluation of Language Models
Hugging Face Blog333d agoReleaseHugging Face 與阿聯酋技術創新研究所（TII）聯合宣布 NeurIPS 2025 E2LM 競賽。該競賽聚焦於大語言模型（LLM）的「早期訓練評估」，旨在尋找能在訓練初期（僅消耗少數算力或數據時）即準確預測模型最終表現的方法。這將有助於大幅降低 LLM 研發的算力成本與時間，推動更高效、環保的 AI 開發流程。
Mixture of Experts Explained★ 85
Hugging Face Blog904d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。