🔥 Trending today
1 Billion Classifications★ 80
Hugging Face Blog474d agoTutorialHugging Face 發表專文探討大規模文本分類的實踐。在 LLM 時代，許多開發者盲目使用 GPT-4 等生成式大模型進行分類，導致成本高昂且延遲高。文章展示了如何利用 ModernBERT、DeBERTa 等開源編碼器模型，搭配 Rust 編寫的 TEI (Text Embeddings Inference) 引擎，在極低成本下於短時間內完成 10 億次分類。這種方法不僅能將延遲壓低至個位數毫秒，成本更比使用 LLM API 降低高達 90% 以上，為工業級數據處理提供高效示範。
Finally, a Replacement for BERT: Introducing ModernBERT★ 85
Hugging Face Blog530d agoReleaseHugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。