Finally, a Replacement for BERT: Introducing ModernBERT

Hugging Face 與合作夥伴推出 ModernBERT，將經典 BERT 升級至 8k 上下文並大幅提升速度，成為新一代最強 Encoder 模型。

Hugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。

摘要由 AI 整理,以原文為準。