SegMoE: Segmind Mixture of Diffusion Experts★ 75
Hugging Face Blog851d agoReleaseSegmind 發表 SegMoE 框架，借鑑 LLM 的混合專家（MoE）架構並將其應用於 Stable Diffusion 等擴散模型。該技術允許開發者將多個專門的 SDXL 專家模型合併為一個，並透過路由機制動態分配生成任務。此方法無需從頭訓練，即可結合不同風格模型的優勢，為影像生成帶來更高的靈活性與效率。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog852d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Hugging Face Text Generation Inference available for AWS Inferentia2★ 75
Hugging Face Blog853d agoReleaseHugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。
Patch Time Series Transformer in Hugging Face★ 75
Hugging Face Blog853d agoReleaseHugging Face 宣布在其 transformers 函式庫中整合 PatchTST 模型。該模型採用「補丁（Patching）」技術保留局部語義並降低計算複雜度，並結合「通道獨立」處理多變量數據。開發者現在可以透過熟悉的 Hugging Face API 輕鬆進行高效的時間序列預測與微調。
Constitutional AI with Open LLMs★ 78
Hugging Face Blog853d agoTutorial本文探討如何使用開源大型語言模型實作「憲政 AI（Constitutional AI）」。這項技術由 Anthropic 提出，透過一組「憲法」原則讓 AI 自我監督與修正輸出（RLAIF）。Hugging Face 展示了利用 TRL 函式庫與 DPO 等開源工具，如何不需大量人類標註，也能訓練出既安全又實用的開源模型。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog854d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog855d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog856d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog859d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Hugging Face and Google partner for open AI collaboration★ 80
Hugging Face Blog860d agoBusinessHugging Face 與 Google 宣布建立戰略合作夥伴關係，旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施（如 Vertex AI、GKE 和 TPU）深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型，大幅降低 AI 開發與運算門檻。
Open-source LLMs as LangChain Agents★ 80
Hugging Face Blog861d agoTutorial本文介紹如何使用開源 LLM（如 Mixtral-8x7B）作為 LangChain Agent。過去 Agent 多依賴 GPT-4，但隨著開源模型推理能力提升，透過正確的 Prompt 格式（如 ReAct 框架）與 Hugging Face TGI 整合，開源模型也能穩定執行工具調用與多步驟推理，提供高隱私且低成本的替代方案。
PatchTSMixer in HuggingFace★ 75
Hugging Face Blog866d agoReleaseIBM Research 開發的 PatchTSMixer 正式登陸 Hugging Face transformers 庫。該模型採用 Patching 技術與輕量級的 MLP-Mixer 架構，避開了傳統 Transformer 的高運算複雜度。它不僅支援多元時間序列的預測、分類與異常檢測，還具備強大的自監督預訓練與微調能力，為時間序列任務提供極佳的效能與速度平衡。
Fine-Tune W2V2-Bert for low-resource ASR with 🤗 Transformers★ 75
Hugging Face Blog866d agoTutorialHugging Face 發布技術指南，詳細說明如何利用 W2V2-BERT 進行低資源語言的自動語音辨識（ASR）微調。W2V2-BERT 結合了 Wav2Vec 2.0 與 BERT 的優勢，特別適合訓練樣本稀缺的語言。本教學涵蓋了從數據準備、特徵提取、CTC 模型配置到使用 Trainer API 進行訓練與評估的完整實作流程。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog867d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog873d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog875d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
Welcome aMUSEd: Efficient Text-to-Image Generation
Hugging Face Blog881d agoReleaseHugging Face 發表了名為 aMUSEd 的開源文字生成圖片模型，基於 Google 的 MUSE 架構。與主流的擴散模型（Diffusion Models）不同，aMUSEd 採用遮罩圖像建模（MIM）技術，僅需 12 個步驟即可生成圖像。其參數規模僅約 8 億，非常適合在消費級硬體上進行快速推理與微調，並支援圖生圖與局部重繪。
Speculative Decoding for 2x Faster Whisper Inference★ 75
Hugging Face Blog896d agoTutorialHugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。
2023, year of open LLMs★ 75
Hugging Face Blog898d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Mixture of Experts Explained★ 85
Hugging Face Blog905d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face★ 90
Hugging Face Blog905d agoReleaseMistral AI 發表全新混合專家（MoE）模型 Mixtral 8x7B，總參數 46.7B 但每次 token 僅啟用 12.9B，速度極快。其在多項基準測試中超越 Llama 2 70B 及 GPT-3.5，並支援 32k 脈絡長度。Hugging Face 已於 Transformers、TGI 及推理終端全面整合，並採 Apache 2.0 開源授權。
SetFitABSA: Few-Shot Aspect Based Sentiment Analysis using SetFit★ 75
Hugging Face Blog910d agoReleaseHugging Face 發表 SetFitABSA，將高效的少樣本學習框架 SetFit 應用於「基於屬性的情感分析（ABSA）」。傳統 ABSA 需要大量標註數據，而 SetFitABSA 僅需數十個樣本即可精確識別文本中的特定屬性（如服務、價格）及其情感傾向。該方法訓練速度極快、不需龐大 GPU 資源，且免去了大型語言模型（LLM）複雜的 Prompt 調整，是極具性價比的 NLP 解決方案。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog911d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Goodbye cold boot - how we made LoRA Inference 300% faster★ 85
Hugging Face Blog911d agoReleaseHugging Face 分享了優化 LoRA 模型推論的技術突破。傳統上，為不同用戶切換微調模型會面臨嚴重的「冷啟動」延遲；新方案透過在 Text Generation Inference (TGI) 中實現動態載入 LoRA 轉接器（Adapters），讓共享同一個基礎模型的不同微調版本能即時切換，使整體推論速度提升達 300%，大幅降低多租戶架構的部署成本與延遲。
Businesses are building on open-source AI★ 75
Replicate Blog911d agoBusinessAI 模型託管平台 Replicate 宣布完成 4,000 萬美元的 B 輪融資，由知名創投 a16z 領投。這筆資金將用於擴展其雲端基礎設施，幫助更多企業與開發者透過簡單的 API 運行、微調及部署開源 AI 模型。此融資反映出企業級市場對於開源 AI（如 Llama、Stable Diffusion）的需求正迎來爆發性成長。
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU★ 75
Hugging Face Blog911d agoReleaseHugging Face 宣布與 AMD 深度合作，推出 optimum-amd 套件，旨在簡化 AMD GPU（如 Instinct 與 Radeon 系列）上的模型部署與加速。該套件整合了 AMD ROCm 軟體平台，開發者只需修改幾行程式碼，即可在 AMD 硬體上無縫運行並加速主流的大語言模型（LLM）。此舉打破了過去 NVIDIA CUDA 在 AI 訓練與推理上的壟斷，為企業與開發者提供更具性價比的硬體選擇。
Open LLM Leaderboard: DROP deep dive★ 75
Hugging Face Blog915d agoCommentaryHugging Face 針對 Open LLM 排行榜中的 DROP（離散推理）基準測試進行深度剖析。調查發現，許多開源模型之所以獲得異常高分，並非因為推理能力超越 GPT-4，而是源於對評估格式的過度擬合（Overfitting）或資料污染（Contamination）。為此，官方調整了評估與解析機制，使評分回歸真實水平，並呼籲社群建立更嚴謹的評估標準。
How to run Yi chat models with an API
Replicate Blog923d agoTutorialYi 系列模型是由「零一萬物 (01.AI)」從頭訓練的大型語言模型，在多項基準測試中表現優異。Replicate 平台已託管 Yi 模型，開發者無需自行配置與維護昂貴的 GPU 基礎設施，即可透過 API 進行調用。本文介紹如何使用 Replicate 的 Python SDK，僅需一行程式碼便能輕鬆在雲端運行 Yi-34B-Chat 等模型，並支援串流輸出。
Using open-source models for faster and cheaper text embeddings
Replicate Blog936d agoTutorialReplicate 發表指南，展示如何在其平台上運行開源的 BGE (BAAI General Embedding) 模型。相較於當時 OpenAI 的 Embedding API，BGE 模型在 MTEB 排行榜上表現優異，且在 Replicate 上運行能提供更低的延遲與更便宜的價格，非常適合需要大量處理文字向量化與建置 RAG 系統的開發者。