Train 400x faster Static Embedding Models with Sentence Transformers★ 75
Hugging Face Blog503d agoReleaseHugging Face 宣布 Sentence Transformers 支援訓練「靜態嵌入（Static Embeddings）」模型。相較於傳統 Transformer 模型，靜態嵌入不需逐層計算，訓練速度快上 400 倍，且推理速度極快、記憶體佔用極小。這項技術非常適合用於資源受限的設備（如手機、邊緣裝置）或作為大規模檢索（RAG）的第一階段粗篩。
Visual Document Retrieval Goes Multilingual★ 80
Hugging Face Blog508d agoReleaseHugging Face 發表全新的 VDR-2B-multilingual 模型，專為視覺文件檢索（VDR）設計。傳統檢索依賴繁瑣的 OCR 步驟，而該模型能直接將文件頁面視為圖像進行向量化，保留排版、圖表與插圖資訊。本次更新重點在於擴展至多語言支持（包含中英日韓等），大幅提升跨國企業與多語系文檔的檢索效率與準確度。
AI-enhanced search for Next.js documentation
Vercel Changelog510d agoNew ToolVercel 宣布為 Next.js 官方文件推出 AI 增強搜尋。開發者現在能用自然語言提問，系統將直接生成精準解答與程式碼範例，並能智慧區分 App 與 Pages Router 架構。此更新大幅縮短了開發者查閱 API 與排查錯誤的時間，顯著提升開發體驗。
Finally, a Replacement for BERT: Introducing ModernBERT★ 85
Hugging Face Blog530d agoReleaseHugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
Transforming customer support with AI: How Vercel decreased tickets by 31%★ 75
Vercel Changelog637d agoOpinionVercel 分享了其內部利用 AI 變革客戶支援系統的實踐經驗。透過整合 Vercel AI SDK 與檢索增強生成（RAG）技術，Vercel 在用戶提交工單前即時提供精準解答。這項舉措不僅成功減少了 31% 的客服工單量，還大幅提升了客服團隊的作業效率，讓工程師能專注於更複雜的技術問題。
XLSCOUT Unveils ParaEmbed 2.0: a Powerful Embedding Model Tailored for Patents and IP with Expert Support from Hugging Face
Hugging Face Blog707d agoRelease智慧財產權平台 XLSCOUT 在 Hugging Face 專家團隊支援下，推出專為專利與 IP 領域設計的嵌入模型 ParaEmbed 2.0。該模型針對專利文本特有的複雜法律與技術術語進行優化，能顯著提升專利相似度檢索與相關 RAG 應用的精準度。這項合作展示了如何透過領域特定（Domain-specific）的微調，解決通用模型在專業領域表現不佳的痛點。
Getting started with AI: Advice from the experts at Vercel Ship★ 75
Vercel Changelog719d agoTutorial在 Vercel Ship 大會後，官方整理了專家們對於開發者如何入門 AI 的核心建議。文章強調開發者不需從頭訓練模型，應專注於利用現成 API 與 Vercel AI SDK 進行整合。專家指出，優化 AI 應用的關鍵在於提升使用者體驗（如串流輸出）與實作工具呼叫（Tool Calling），並建議從簡單的 Prompt 工程開始，逐步引入 RAG 與評估機制。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog725d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。
Training and Finetuning Embedding Models with Sentence Transformers★ 80
Hugging Face Blog735d agoReleaseHugging Face 發布 Sentence Transformers v3.0，引入全新的 SentenceTransformerTrainer。此更新解決了以往微調嵌入模型時繁瑣的訓練流程，全面支援多 GPU 訓練、混合精度、損失函數整合以及與 Hugging Face Hub 的無縫對接。這對於需要為 RAG 或語意搜尋微調專屬 Embedding 模型的開發者與研究人員來說是一大突破。
7 AI features you can add to your app today★ 75
Vercel Changelog754d agoTutorialVercel 官方部落格整理了 7 個現代網頁應用必備的 AI 功能，並展示如何利用 Vercel AI SDK 快速實現。這些功能涵蓋了即時串流聊天、結構化 JSON 輸出、工具調用（Tool Calling）、動態生成式 UI（Generative UI）、語意搜尋（RAG）、圖像生成以及語音整合。這篇文章為想要提升產品體驗的 Web 開發者提供了具體的實作方向與程式碼範例。
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon★ 70
Hugging Face Blog754d agoTutorial本文介紹如何結合 Intel Gaudi 2 AI 加速器與 Intel Xeon 處理器，打造具成本效益的企業級檢索增強生成（RAG）應用。透過 Hugging Face 的 TEI 與 TGI 技術，企業能在 Xeon 上高效處理向量嵌入，並在 Gaudi 2 上加速大語言模型推理，為非 Nvidia 生態系提供強大的替代方案。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog802d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG★ 70
Hugging Face Blog809d agoTutorialHugging Face 與 Intel 合作展示如何使用 Optimum Intel 和 fastRAG 框架優化 CPU 上的嵌入向量（Embeddings）計算。透過 OpenVINO 和 Intel Extension for PyTorch (IPEX) 等技術，開發者無需昂貴的 GPU，即可在標準 Intel CPU 上實現高效能、低延遲的 RAG 檢索系統，顯著降低企業部署成本。
🪆 Introduction to Matryoshka Embedding Models★ 85
Hugging Face Blog830d agoTutorialMatryoshka 嵌入模型（MRL）允許單一模型輸出多種不同維度的向量，如同俄羅斯套娃般大包小。 這項技術能讓開發者在不重新訓練模型的情況下，自由截斷維度，大幅降低向量資料庫的儲存與檢索成本。 Hugging Face 的 sentence-transformers 庫已原生支援此技術，為 RAG 與向量檢索提供極高的部署彈性。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog853d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog872d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Using open-source models for faster and cheaper text embeddings
Replicate Blog935d agoTutorialReplicate 發表指南，展示如何在其平台上運行開源的 BGE (BAAI General Embedding) 模型。相較於當時 OpenAI 的 Embedding API，BGE 模型在 MTEB 排行榜上表現優異，且在 Replicate 上運行能提供更低的延遲與更便宜的價格，非常適合需要大量處理文字向量化與建置 RAG 系統的開發者。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog952d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
How to use retrieval augmented generation with ChromaDB and Mistral
Replicate Blog959d agoTutorial這是一篇由 Replicate 釋出的實用教學，指導開發者如何建構檢索增強生成（RAG）系統。文章詳細說明了如何使用 bge-large-en 模型生成文本嵌入向量，並將其儲存於 ChromaDB 向量資料庫中。最後，透過部署在 Replicate 上的 Mistral-7B-Instruct 模型，根據檢索到的上下文生成精確的回答。
MTEB: Massive Text Embedding Benchmark★ 85
Hugging Face Blog1322d agoReleaseHugging Face 發表了「海量文字嵌入基準（MTEB）」，這是目前最全面的文字嵌入模型評估工具。MTEB 涵蓋了 8 種不同的任務類型（如語義相似度、資訊檢索、分類等），共包含 58 個數據集，支援多達 112 種語言。此基準旨在解決過去評估嵌入模型時任務單一、缺乏多語言支持的問題，為開發者提供統一的評估標準。
Train and Fine-Tune Sentence Transformers Models★ 75
Hugging Face Blog1392d agoTutorial本指南詳細介紹如何訓練與微調 Sentence Transformers 模型。內容涵蓋雙編碼器（Bi-Encoder）與交叉編碼器（Cross-Encoder）的差異、如何準備訓練數據（如成對文本或三元組），以及如何選擇適合的損失函數（如 MultipleNegativesRankingLoss）來提升語意搜尋與向量檢索的精準度，是優化 RAG 系統必讀的經典教學。
Getting Started With Embeddings★ 75
Hugging Face Blog1440d agoTutorial這是一篇由 Hugging Face 官方撰寫的經典入門指南，系統性地介紹了向量嵌入（Embeddings）的核心概念。文章解釋了如何將文字、圖像等非結構化數據轉化為高維向量，並透過餘弦相似度等指標計算語意相關性。此外，也展示了如何利用 sentence-transformers 庫快速實作語意搜尋與推薦系統。
Train a Sentence Embedding Model with 1B Training Pairs★ 75
Hugging Face Blog1681d agoTutorialHugging Face 介紹了如何利用超過 10 億個句子對（Sentence Pairs）的大規模數據集，訓練出高效且精準的句子嵌入模型。文中詳細說明了數據集整合、對比學習（Contrastive Learning）的訓練方法，並釋出了包含 all-MiniLM-L6-v2 在內的多款熱門開源模型。這些模型至今仍是 RAG 和語意搜尋系統中非常經典且高效的基準選擇。
Retrieval Augmented Generation with Huggingface Transformers and Ray
Hugging Face Blog1938d agoTutorialHugging Face 與 Anyscale 合作，展示如何利用 Ray 框架來擴展檢索增強生成（RAG）模型。 透過將 Ray 的分散式運算能力與 Hugging Face 的 NLP 模型結合，開發者可以高效地在海量知識庫中進行向量檢索與文本生成。 此方案解決了 RAG 在處理大規模知識庫（如完整維基百科）時的記憶體限制與運算瓶頸，顯著提升查詢吞吐量。