🔥 Trending today
[AINews] New AI Infra unicorns: Exa, Modal, TurboPuffer★ 75
Latent Space11d agoBusiness本期 AINews 聚焦於三家在 AI 開發者社群中聲譽極高的基礎設施新星：Exa（AI 專用搜尋引擎）、Modal（無伺服器 GPU 計算平台）與 TurboPuffer（高性價比無伺服器向量資料庫）。隨著新一輪融資，這三家公司正式邁入獨角獸或準獨角獸行列，展示了 AI 時代下，開發者對於高效能、低延遲且免維護的底層工具之強烈需求。這三家工具正重新定義現代 AI 應用的開發堆疊。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog802d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
🪆 Introduction to Matryoshka Embedding Models★ 85
Hugging Face Blog830d agoTutorialMatryoshka 嵌入模型（MRL）允許單一模型輸出多種不同維度的向量，如同俄羅斯套娃般大包小。 這項技術能讓開發者在不重新訓練模型的情況下，自由截斷維度，大幅降低向量資料庫的儲存與檢索成本。 Hugging Face 的 sentence-transformers 庫已原生支援此技術，為 RAG 與向量檢索提供極高的部署彈性。
How to use retrieval augmented generation with ChromaDB and Mistral
Replicate Blog959d agoTutorial這是一篇由 Replicate 釋出的實用教學，指導開發者如何建構檢索增強生成（RAG）系統。文章詳細說明了如何使用 bge-large-en 模型生成文本嵌入向量，並將其儲存於 ChromaDB 向量資料庫中。最後，透過部署在 Replicate 上的 Mistral-7B-Instruct 模型，根據檢索到的上下文生成精確的回答。