[AINews] New AI Infra unicorns: Exa, Modal, TurboPuffer★ 75
Latent Space11d agoBusiness本期 AINews 聚焦於三家在 AI 開發者社群中聲譽極高的基礎設施新星：Exa（AI 專用搜尋引擎）、Modal（無伺服器 GPU 計算平台）與 TurboPuffer（高性價比無伺服器向量資料庫）。隨著新一輪融資，這三家公司正式邁入獨角獸或準獨角獸行列，展示了 AI 時代下，開發者對於高效能、低延遲且免維護的底層工具之強烈需求。這三家工具正重新定義現代 AI 應用的開發堆疊。
Introducing the Ettin Reranker Family★ 80
Hugging Face Blog14d agoReleaseHugging Face 推出全新「Ettin Reranker」重排模型家族，旨在解決 RAG 系統中檢索精度不足的痛點。該系列模型涵蓋多種參數大小，支援多語言與長文本處理，並與 Hugging Face 生態系深度整合。Ettin 透過創新的架構設計，在保持低延遲的同時，顯著提升了重排（Reranking）階段的 NDCG 指標，是開發者構建高效能 RAG 應用的全新開源選擇。
PaddleOCR 3.5: Running OCR and Document Parsing Tasks with a Transformers Backend★ 75
Hugging Face Blog15d agoRelease知名開源 OCR 工具 PaddleOCR 3.5 正式整合至 Hugging Face Transformers 生態系。開發者現在可以直接使用 PyTorch/Transformers 後端執行文字偵測、識別及表格解析等任務，無需安裝複雜的 PaddlePaddle 框架。這項更新極大地簡化了 OCR 與 RAG（檢索增強生成）等下游任務的整合流程。
Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality★ 75
Hugging Face Blog19d agoReleaseIBM 發布全新開源多語言嵌入模型 Granite Embedding Multilingual R2。該模型採用寬鬆的 Apache 2.0 授權，支援高達 32K 的上下文長度。在參數小於 1 億（Sub-100M）的同量級模型中，它展現出最頂尖的資訊檢索品質，非常適合用於建構高效能且低資源消耗的 RAG（檢索增強生成）系統。
[AINews] The End of Finetuning★ 75
Latent Space20d agoOpinion在一個相對平靜的新聞日，Latent Space 帶領讀者反思「微調（Fine-tuning）的終結」這一命題。 隨著長上下文視窗、高效 RAG 以及上下文內學習（In-context Learning）的成熟，許多原本需要微調的場景已被取代。 未來微調可能退化為僅用於調整輸出格式、風格或進行模型蒸餾的工具，而非首選的知識注入手段。
Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers★ 80
Hugging Face Blog47d agoTutorialHugging Face 發布最新指南，展示如何利用 Sentence Transformers 框架進行多模態嵌入與 Reranker 模型的訓練與微調。此更新簡化了將文字與影像對齊至同一向量空間的流程，並支援雙塔（Bi-Encoder）與交叉編碼器（Cross-Encoder）架構。這對於建構多模態 RAG（檢索增強生成）系統與跨模態搜尋引擎的開發者來說，提供了極低門檻的實作路徑。
Multimodal Embedding & Reranker Models with Sentence Transformers★ 78
Hugging Face Blog54d agoReleaseHugging Face 宣布其熱門開源庫 Sentence Transformers 正式支援多模態（Multimodal）嵌入與重排（Reranker）模型。開發者現在可以使用統一的 API 同時處理文本與影像，將它們映射到相同的向量空間中。這項更新大幅降低了建構多模態 RAG、圖文搜尋與跨模態推薦系統的門檻。
Build a Domain-Specific Embedding Model in Under a Day★ 80
Hugging Face Blog74d agoTutorial本指南展示如何利用 Hugging Face 的 sentence-transformers 庫與 NVIDIA 的 GPU 加速技術，在一天內構建專屬領域的向量嵌入（Embedding）模型。內容涵蓋利用 LLM 生成合成數據、選擇基底模型、使用對比學習（Contrastive Learning）進行微調，以及如何評估與部署。這套流程能有效解決通用模型在特定專業領域（如醫療、法律、金融）檢索率不佳的問題，是優化 RAG 系統的關鍵步驟。
How OpenEvidence built a healthcare AI that physicians actually trust
Vercel Changelog97d agoBusiness醫療 AI 平台 OpenEvidence 分享了他們如何贏得醫生信任的關鍵。透過與 Vercel 合作，他們構建了一個結合 RAG（檢索增強生成）技術的決策支持系統，能針對醫學提問提供精確且附帶權威文獻引用的解答。Vercel 的高效能前端基礎設施與邊緣渲染技術，確保了醫生在臨床現場能以極低延遲獲取關鍵資訊，解決了醫療 AI 常見的幻覺與速度痛點。
Import AI 441: My agents are working. Are yours? ★ 75
Import AI (Jack Clark)134d agoCommentary在本期 Import AI 中，Jack Clark 探討了 AI Agent 的實用化轉折點，分享他如何將 Agent 融入日常工作流，指出 Agent 已從「玩具」走向「實用工具」。此外，本期也介紹了一項安全研究「毒泉（Poison Fountain）」，展示了攻擊者如何透過持續注入惡意數據，污染 AI 系統的長期記憶與檢索機制，對當前日益普及的 Agent 安全性敲響警鐘。
Building Deep Research: How we Achieved State of the Art★ 78
Hugging Face Blog190d agoTutorialAI 搜尋引擎 Tavily 在 Hugging Face 部落格分享了其「Deep Research」技術的幕後架構。該系統旨在解決傳統單次搜尋無法應付複雜任務的痛點。透過結合多步驟代理人規劃、動態查詢擴展、內容去噪與重排技術，Tavily 成功在複雜研究任務中取得領先（SOTA）地位，並詳細解析了其評估方法與實作細節，為開發者提供建構自主研究代理人的實用指南。
Sentence Transformers is joining Hugging Face!★ 75
Hugging Face Blog223d agoRelease廣受開發者歡迎的開源嵌入向量庫 Sentence Transformers 宣布正式加入 Hugging Face。未來該專案將移至 Hugging Face 的 GitHub 組織下管理，獲得更多官方資源支持。這項合作將深化其與 Hugging Face Hub 的整合，提升模型託管、文檔與效能優化，為 RAG 與語意搜尋應用提供更穩定的開源基石。
Extract text from documents and images with Datalab Marker and OCR★ 75
Replicate Blog224d agoReleaseReplicate 平台上架了來自 Datalab 的兩款全新文件解析模型：Marker 與 OCR。Marker 專為將整份複雜文件（如 PDF）轉換為乾淨的 Markdown 格式而設計，非常適合 RAG 應用；OCR 模型則能精確提取圖片或文件中的文字，並提供行級（line-level）的多邊形定位座標，為開發者提供高效的文件預處理方案。
Supercharge your OCR Pipelines with Open Models★ 80
Hugging Face Blog224d agoTutorial本文探討如何利用開源模型（如 Florence-2、Qwen2-VL 與 Llama-3.2-Vision）替代傳統 OCR 系統。開源 VLM 不僅能精準辨識文字，還能直接輸出 JSON 或 Markdown 等結構化格式，解決複雜排版與表格解析的痛點。透過 Hugging Face 生態系，開發者可以輕鬆部署並微調這些模型，打造高效、低成本且隱私安全的文檔處理 Pipeline。
Introducing RTEB: A New Standard for Retrieval Evaluation★ 80
Hugging Face Blog244d agoReleaseHugging Face 發表全新檢索評估標準 RTEB（Retrieval Evaluation Benchmark）。相較於專注向量表徵的 MTEB，RTEB 更著重於 RAG 實戰中的端到端檢索表現。它涵蓋了混合檢索、重排（Reranking）及多跳推理等複雜場景，並提供開源評估工具，幫助開發者與研究人員精準衡量檢索器在真實應用中的效能。
mmBERT: ModernBERT goes Multilingual★ 78
Hugging Face Blog266d agoReleaseHugging Face 與社群合作推出 mmBERT，這是基於 ModernBERT 架構的多語言版本。mmBERT 繼承了 ModernBERT 的現代化改進（如 FlashAttention、RoPE 與 8192 token 長文本支持），旨在取代傳統的 mBERT 與 XLM-RoBERTa。它能顯著提升多語言文本分類、命名實體識別（NER）及檢索（RAG）等任務的運算效率，為開發者提供更強大且省資源的開源選擇。
Welcome EmbeddingGemma, Google's new efficient embedding model★ 75
Hugging Face Blog271d agoReleaseGoogle 正式推出全新開源嵌入模型 EmbeddingGemma。該模型基於強大的 Gemma 2 架構，專為檢索、語意搜尋與 RAG（檢索增強生成）等任務設計。EmbeddingGemma 在 MTEB 等主流基準測試中表現優異，並提供高效的推理能力。目前已全面整合至 Hugging Face 生態系統，開發者可透過 transformers 與 sentence-transformers 輕鬆部署與微調。
MCP for Research: How to Connect AI to Research Tools★ 75
Hugging Face Blog288d agoTutorialHugging Face 發表最新指南，展示如何利用 Model Context Protocol (MCP) 將 AI 模型與學術研究工具無縫串接。文章介紹了如何建立 MCP 伺服器來連接 arXiv、Semantic Scholar 及 Zotero 等文獻資料庫，讓 AI 能夠直接檢索、閱讀並整理最新學術論文。這項技術不僅能大幅降低 AI 的幻覺，還能自動化文獻回顧與資料分析流程，是科研人員與開發者構建智慧學術助理的實用指南。
Parquet Content-Defined Chunking★ 75
Hugging Face Blog312d agoReleaseHugging Face 探討將「內容定義分塊 (CDC)」技術引入 Parquet 檔案格式。傳統固定大小分塊在資料微調時會導致快取失效，而 CDC 透過動態錨點切分，能精準識別重複內容。此技術將大幅優化大規模 AI 訓練資料集的去重效率、降低增量下載的頻寬消耗，並為 RAG 檢索提供更穩定的分塊基礎。
Ettin Suite: SoTA Paired Encoders and Decoders★ 75
Hugging Face Blog321d agoReleaseHugging Face 發表全新的 Ettin Suite，這是一系列最先進（SoTA）的成對編碼器與解碼器（Paired Encoders and Decoders）模型。該套件旨在解決傳統雙向與單向模型在表徵學習與序列生成之間的斷層，提供更緊密的語意對齊。Ettin 在多項檢索（RAG）與生成基準測試中表現優異，並完全開源供社群使用。
Training and Finetuning Sparse Embedding Models with Sentence Transformers★ 75
Hugging Face Blog336d agoTutorialHugging Face 釋出最新指南，介紹如何利用 Sentence Transformers 庫訓練與微調稀疏嵌入（Sparse Embedding）模型。稀疏嵌入（如 SPLADE）能將文本轉化為高維稀疏向量，在保留關鍵字匹配能力的同時具備語意理解力。此更新簡化了訓練流程，讓開發者能輕鬆構建適用於混合檢索（Hybrid Search）的高效檢索系統。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
Cohere on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog412d agoReleaseHugging Face 宣布與 Cohere 合作，將其納入「推論提供商（Inference Providers）」生態系。現在開發者可以直接在 Hugging Face Hub 上，透過 Cohere 的託管服務免伺服器（Serverless）調用 Command R 和 Command R+ 等熱門模型。這項整合簡化了開發流程，讓用戶無需自行部署即可在 HF 生態系中無縫測試與整合 Cohere 的強大語言模型。
Training and Finetuning Reranker Models with Sentence Transformers★ 80
Hugging Face Blog433d agoTutorialHugging Face 釋出全新教學，詳細介紹如何利用 Sentence Transformers 庫訓練與微調 Reranker（重排）模型。Reranker 在 RAG 系統中扮演關鍵角色，能對初步檢索的文檔進行二次精準排序。本文涵蓋資料準備、損失函數選擇、訓練流程及評估方法，幫助開發者針對特定領域優化檢索效果。
Train 400x faster Static Embedding Models with Sentence Transformers★ 75
Hugging Face Blog503d agoReleaseHugging Face 宣布 Sentence Transformers 支援訓練「靜態嵌入（Static Embeddings）」模型。相較於傳統 Transformer 模型，靜態嵌入不需逐層計算，訓練速度快上 400 倍，且推理速度極快、記憶體佔用極小。這項技術非常適合用於資源受限的設備（如手機、邊緣裝置）或作為大規模檢索（RAG）的第一階段粗篩。
Visual Document Retrieval Goes Multilingual★ 80
Hugging Face Blog508d agoReleaseHugging Face 發表全新的 VDR-2B-multilingual 模型，專為視覺文件檢索（VDR）設計。傳統檢索依賴繁瑣的 OCR 步驟，而該模型能直接將文件頁面視為圖像進行向量化，保留排版、圖表與插圖資訊。本次更新重點在於擴展至多語言支持（包含中英日韓等），大幅提升跨國企業與多語系文檔的檢索效率與準確度。
Finally, a Replacement for BERT: Introducing ModernBERT★ 85
Hugging Face Blog530d agoReleaseHugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
XLSCOUT Unveils ParaEmbed 2.0: a Powerful Embedding Model Tailored for Patents and IP with Expert Support from Hugging Face
Hugging Face Blog707d agoRelease智慧財產權平台 XLSCOUT 在 Hugging Face 專家團隊支援下，推出專為專利與 IP 領域設計的嵌入模型 ParaEmbed 2.0。該模型針對專利文本特有的複雜法律與技術術語進行優化，能顯著提升專利相似度檢索與相關 RAG 應用的精準度。這項合作展示了如何透過領域特定（Domain-specific）的微調，解決通用模型在專業領域表現不佳的痛點。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog725d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。