Training and Finetuning Embedding Models with Sentence Transformers★ 80
Hugging Face Blog735d agoReleaseHugging Face 發布 Sentence Transformers v3.0，引入全新的 SentenceTransformerTrainer。此更新解決了以往微調嵌入模型時繁瑣的訓練流程，全面支援多 GPU 訓練、混合精度、損失函數整合以及與 Hugging Face Hub 的無縫對接。這對於需要為 RAG 或語意搜尋微調專屬 Embedding 模型的開發者與研究人員來說是一大突破。
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon★ 70
Hugging Face Blog754d agoTutorial本文介紹如何結合 Intel Gaudi 2 AI 加速器與 Intel Xeon 處理器，打造具成本效益的企業級檢索增強生成（RAG）應用。透過 Hugging Face 的 TEI 與 TGI 技術，企業能在 Xeon 上高效處理向量嵌入，並在 Gaudi 2 上加速大語言模型推理，為非 Nvidia 生態系提供強大的替代方案。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog802d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG★ 70
Hugging Face Blog809d agoTutorialHugging Face 與 Intel 合作展示如何使用 Optimum Intel 和 fastRAG 框架優化 CPU 上的嵌入向量（Embeddings）計算。透過 OpenVINO 和 Intel Extension for PyTorch (IPEX) 等技術，開發者無需昂貴的 GPU，即可在標準 Intel CPU 上實現高效能、低延遲的 RAG 檢索系統，顯著降低企業部署成本。
🪆 Introduction to Matryoshka Embedding Models★ 85
Hugging Face Blog830d agoTutorialMatryoshka 嵌入模型（MRL）允許單一模型輸出多種不同維度的向量，如同俄羅斯套娃般大包小。 這項技術能讓開發者在不重新訓練模型的情況下，自由截斷維度，大幅降低向量資料庫的儲存與檢索成本。 Hugging Face 的 sentence-transformers 庫已原生支援此技術，為 RAG 與向量檢索提供極高的部署彈性。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog853d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog872d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Using open-source models for faster and cheaper text embeddings
Replicate Blog935d agoTutorialReplicate 發表指南，展示如何在其平台上運行開源的 BGE (BAAI General Embedding) 模型。相較於當時 OpenAI 的 Embedding API，BGE 模型在 MTEB 排行榜上表現優異，且在 Replicate 上運行能提供更低的延遲與更便宜的價格，非常適合需要大量處理文字向量化與建置 RAG 系統的開發者。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog952d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
How to use retrieval augmented generation with ChromaDB and Mistral
Replicate Blog959d agoTutorial這是一篇由 Replicate 釋出的實用教學，指導開發者如何建構檢索增強生成（RAG）系統。文章詳細說明了如何使用 bge-large-en 模型生成文本嵌入向量，並將其儲存於 ChromaDB 向量資料庫中。最後，透過部署在 Replicate 上的 Mistral-7B-Instruct 模型，根據檢索到的上下文生成精確的回答。
MTEB: Massive Text Embedding Benchmark★ 85
Hugging Face Blog1322d agoReleaseHugging Face 發表了「海量文字嵌入基準（MTEB）」，這是目前最全面的文字嵌入模型評估工具。MTEB 涵蓋了 8 種不同的任務類型（如語義相似度、資訊檢索、分類等），共包含 58 個數據集，支援多達 112 種語言。此基準旨在解決過去評估嵌入模型時任務單一、缺乏多語言支持的問題，為開發者提供統一的評估標準。
Train and Fine-Tune Sentence Transformers Models★ 75
Hugging Face Blog1392d agoTutorial本指南詳細介紹如何訓練與微調 Sentence Transformers 模型。內容涵蓋雙編碼器（Bi-Encoder）與交叉編碼器（Cross-Encoder）的差異、如何準備訓練數據（如成對文本或三元組），以及如何選擇適合的損失函數（如 MultipleNegativesRankingLoss）來提升語意搜尋與向量檢索的精準度，是優化 RAG 系統必讀的經典教學。
Getting Started With Embeddings★ 75
Hugging Face Blog1440d agoTutorial這是一篇由 Hugging Face 官方撰寫的經典入門指南，系統性地介紹了向量嵌入（Embeddings）的核心概念。文章解釋了如何將文字、圖像等非結構化數據轉化為高維向量，並透過餘弦相似度等指標計算語意相關性。此外，也展示了如何利用 sentence-transformers 庫快速實作語意搜尋與推薦系統。
Train a Sentence Embedding Model with 1B Training Pairs★ 75
Hugging Face Blog1681d agoTutorialHugging Face 介紹了如何利用超過 10 億個句子對（Sentence Pairs）的大規模數據集，訓練出高效且精準的句子嵌入模型。文中詳細說明了數據集整合、對比學習（Contrastive Learning）的訓練方法，並釋出了包含 all-MiniLM-L6-v2 在內的多款熱門開源模型。這些模型至今仍是 RAG 和語意搜尋系統中非常經典且高效的基準選擇。
Retrieval Augmented Generation with Huggingface Transformers and Ray
Hugging Face Blog1938d agoTutorialHugging Face 與 Anyscale 合作，展示如何利用 Ray 框架來擴展檢索增強生成（RAG）模型。 透過將 Ray 的分散式運算能力與 Hugging Face 的 NLP 模型結合，開發者可以高效地在海量知識庫中進行向量檢索與文本生成。 此方案解決了 RAG 在處理大規模知識庫（如完整維基百科）時的記憶體限制與運算瓶頸，顯著提升查詢吞吐量。