🔥 Trending today
Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
Security boundaries in agentic architectures★ 75
Vercel Changelog98d agoOpinion隨著 AI Agent（代理）逐漸具備自主執行工具與呼叫 API 的能力，傳統的安全防護已不敷使用。Vercel 提出在代理式架構中建立「安全邊界」的關鍵指引，強調必須實施執行期沙盒化（Sandboxing）、嚴格的最小權限原則（Least Privilege），以及在關鍵決策中引入「人工確認（Human-in-the-loop）」機制，以防止提示詞注入與越權操作。
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance★ 75
Hugging Face Blog377d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上發布了全新的 Falcon-H1 系列模型。該系列主打「混合頭（Hybrid-Head）」架構，旨在解決傳統 Transformer 模型在處理長文本時的運算瓶頸。透過結合不同的注意力機制或序列處理技術，Falcon-H1 成功在推論效率、記憶體佔用與模型性能之間取得全新平衡，為開源 AI 社群注入高效能的新選擇。
Mixture of Experts Explained★ 85
Hugging Face Blog904d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。