Bamba: Inference-Efficient Hybrid Mamba2 Model

Hugging Face 聯手學術界推出 Bamba-9B，結合 Mamba-2 與 Attention 的混合架構，大幅提升長文本推論效率。

Hugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。

摘要由 AI 整理,以原文為準。