The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog856d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog859d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Hugging Face and Google partner for open AI collaboration★ 80
Hugging Face Blog860d agoBusinessHugging Face 與 Google 宣布建立戰略合作夥伴關係，旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施（如 Vertex AI、GKE 和 TPU）深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型，大幅降低 AI 開發與運算門檻。
Open-source LLMs as LangChain Agents★ 80
Hugging Face Blog861d agoTutorial本文介紹如何使用開源 LLM（如 Mixtral-8x7B）作為 LangChain Agent。過去 Agent 多依賴 GPT-4，但隨著開源模型推理能力提升，透過正確的 Prompt 格式（如 ReAct 框架）與 Hugging Face TGI 整合，開源模型也能穩定執行工具調用與多步驟推理，提供高隱私且低成本的替代方案。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog867d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog873d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog875d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
Welcome aMUSEd: Efficient Text-to-Image Generation
Hugging Face Blog881d agoReleaseHugging Face 發表了名為 aMUSEd 的開源文字生成圖片模型，基於 Google 的 MUSE 架構。與主流的擴散模型（Diffusion Models）不同，aMUSEd 採用遮罩圖像建模（MIM）技術，僅需 12 個步驟即可生成圖像。其參數規模僅約 8 億，非常適合在消費級硬體上進行快速推理與微調，並支援圖生圖與局部重繪。
Speculative Decoding for 2x Faster Whisper Inference★ 75
Hugging Face Blog896d agoTutorialHugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。
2023, year of open LLMs★ 75
Hugging Face Blog898d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face★ 90
Hugging Face Blog905d agoReleaseMistral AI 發表全新混合專家（MoE）模型 Mixtral 8x7B，總參數 46.7B 但每次 token 僅啟用 12.9B，速度極快。其在多項基準測試中超越 Llama 2 70B 及 GPT-3.5，並支援 32k 脈絡長度。Hugging Face 已於 Transformers、TGI 及推理終端全面整合，並採 Apache 2.0 開源授權。
Mixture of Experts Explained★ 85
Hugging Face Blog905d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
SetFitABSA: Few-Shot Aspect Based Sentiment Analysis using SetFit★ 75
Hugging Face Blog910d agoReleaseHugging Face 發表 SetFitABSA，將高效的少樣本學習框架 SetFit 應用於「基於屬性的情感分析（ABSA）」。傳統 ABSA 需要大量標註數據，而 SetFitABSA 僅需數十個樣本即可精確識別文本中的特定屬性（如服務、價格）及其情感傾向。該方法訓練速度極快、不需龐大 GPU 資源，且免去了大型語言模型（LLM）複雜的 Prompt 調整，是極具性價比的 NLP 解決方案。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog911d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Businesses are building on open-source AI★ 75
Replicate Blog911d agoBusinessAI 模型託管平台 Replicate 宣布完成 4,000 萬美元的 B 輪融資，由知名創投 a16z 領投。這筆資金將用於擴展其雲端基礎設施，幫助更多企業與開發者透過簡單的 API 運行、微調及部署開源 AI 模型。此融資反映出企業級市場對於開源 AI（如 Llama、Stable Diffusion）的需求正迎來爆發性成長。
Goodbye cold boot - how we made LoRA Inference 300% faster★ 85
Hugging Face Blog911d agoReleaseHugging Face 分享了優化 LoRA 模型推論的技術突破。傳統上，為不同用戶切換微調模型會面臨嚴重的「冷啟動」延遲；新方案透過在 Text Generation Inference (TGI) 中實現動態載入 LoRA 轉接器（Adapters），讓共享同一個基礎模型的不同微調版本能即時切換，使整體推論速度提升達 300%，大幅降低多租戶架構的部署成本與延遲。
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU★ 75
Hugging Face Blog911d agoReleaseHugging Face 宣布與 AMD 深度合作，推出 optimum-amd 套件，旨在簡化 AMD GPU（如 Instinct 與 Radeon 系列）上的模型部署與加速。該套件整合了 AMD ROCm 軟體平台，開發者只需修改幾行程式碼，即可在 AMD 硬體上無縫運行並加速主流的大語言模型（LLM）。此舉打破了過去 NVIDIA CUDA 在 AI 訓練與推理上的壟斷，為企業與開發者提供更具性價比的硬體選擇。
Open LLM Leaderboard: DROP deep dive★ 75
Hugging Face Blog915d agoCommentaryHugging Face 針對 Open LLM 排行榜中的 DROP（離散推理）基準測試進行深度剖析。調查發現，許多開源模型之所以獲得異常高分，並非因為推理能力超越 GPT-4，而是源於對評估格式的過度擬合（Overfitting）或資料污染（Contamination）。為此，官方調整了評估與解析機制，使評分回歸真實水平，並呼籲社群建立更嚴謹的評估標準。
How to run Yi chat models with an API
Replicate Blog923d agoTutorialYi 系列模型是由「零一萬物 (01.AI)」從頭訓練的大型語言模型，在多項基準測試中表現優異。Replicate 平台已託管 Yi 模型，開發者無需自行配置與維護昂貴的 GPU 基礎設施，即可透過 API 進行調用。本文介紹如何使用 Replicate 的 Python SDK，僅需一行程式碼便能輕鬆在雲端運行 Yi-34B-Chat 等模型，並支援串流輸出。
Using open-source models for faster and cheaper text embeddings
Replicate Blog936d agoTutorialReplicate 發表指南，展示如何在其平台上運行開源的 BGE (BAAI General Embedding) 模型。相較於當時 OpenAI 的 Embedding API，BGE 模型在 MTEB 排行榜上表現優異，且在 Replicate 上運行能提供更低的延遲與更便宜的價格，非常適合需要大量處理文字向量化與建置 RAG 系統的開發者。
Introducing Prodigy-HF: a direct integration with Hugging Face
Hugging Face Blog939d agoNew Tool知名資料標註工具 Prodigy 宣布推出官方整合套件 prodigy-hf，實現與 Hugging Face Hub 的雙向無縫對接。開發者現在可以直接從 Hugging Face 載入資料集進行標註，並在完成後一鍵推送回 Hub。此外，該整合還支援利用 Hugging Face 的預訓練模型進行輔助標註與主動學習，大幅提升 NLP 與電腦視覺任務的標註效率。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog952d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog953d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog953d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Fine-tune MusicGen to generate music in any style
Replicate Blog964d agoNew ToolAI 雲端運行平台 Replicate 宣布支援 Meta MusicGen 音樂生成模型的微調（Fine-tuning）功能。使用者現在可以使用自己的音訊檔案，在 Replicate 上訓練 MusicGen 的 small、medium 和 melody 版本，藉此生成特定風格或旋律的音樂，為音樂創作者與開發者提供高度客製化的音訊生成方案。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog973d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Chat Templates: An End to the Silent Performance Killer★ 85
Hugging Face Blog974d agoRelease在開發 LLM 對話應用時，不同模型（如 LLaMA、Vicuna）要求不同的特殊標記與格式。過去手動拼接字串極易出錯，微小的空格或換行差異都會嚴重影響模型輸出品質。Hugging Face 推出「Chat Templates」功能，將格式化邏輯以 Jinja 模板儲存於 tokenizer 設定中，開發者只需調用 `apply_chat_template()` 即可自動套用正確格式，徹底解決此痛點。
Ethics and Society Newsletter #5: Hugging Face Goes To Washington and Other Summer 2023 Musings
Hugging Face Blog978d agoCommentaryHugging Face 發布 2023 夏季倫理與社會簡報，重點介紹其團隊前往華盛頓特區向美國國會倡導開源 AI 與開放科學價值的經歷。簡報同時涵蓋了 AI 問責制、歐盟 AI 法案的政策回應，以及在模型卡片（Model Cards）、資料集透明度與環境影響評估等技術倫理工具上的最新研究進展。
Inference for PROs★ 70
Hugging Face Blog985d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。