🔥 Trending today
Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
Mixture of Experts Explained★ 85
Hugging Face Blog904d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。