mmBERT: ModernBERT goes Multilingual

Hugging Face 推出 mmBERT，將具備現代化架構與 8k 上下文的 ModernBERT 擴展至多語言支持，大幅提升多語言 NLP 與 RAG 效率。

Hugging Face 與社群合作推出 mmBERT，這是基於 ModernBERT 架構的多語言版本。mmBERT 繼承了 ModernBERT 的現代化改進（如 FlashAttention、RoPE 與 8192 token 長文本支持），旨在取代傳統的 mBERT 與 XLM-RoBERTa。它能顯著提升多語言文本分類、命名實體識別（NER）及檢索（RAG）等任務的運算效率，為開發者提供更強大且省資源的開源選擇。

摘要由 AI 整理,以原文為準。