Hugging Face 發表專文探討大規模文本分類的實踐。在 LLM 時代,許多開發者盲目使用 GPT-4 等生成式大模型進行分類,導致成本高昂且延遲高。文章展示了如何利用 ModernBERT、DeBERTa 等開源編碼器模型,搭配 Rust 編寫的 TEI (Text Embeddings Inference) 引擎,在極低成本下於短時間內完成 10 億次分類。這種方法不僅能將延遲壓低至個位數毫秒,成本更比使用 LLM API 降低高達 90% 以上,為工業級數據處理提供高效示範。
Hugging Face 與 LightOn 等團隊聯合推出 ModernBERT,旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構,將上下文長度從 512 提升至 8192 標記,並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時,其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3,為 RAG 與搜尋系統注入全新動力。