Welcome Falcon Mamba: The first strong attention-free 7B model

TII 推出 Falcon Mamba 7B，為首款效能媲美 Transformer 的無注意力機制開源大模型。

阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。

摘要由 AI 整理,以原文為準。