Spread Your Wings: Falcon 180B is here

TII 發布擁有 1800 億參數的開源大模型 Falcon 180B，性能直逼 PaLM-2，刷新開源模型紀錄。

阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。

摘要由 AI 整理,以原文為準。