Introducing the Open Ko-LLM Leaderboard: Leading the Korean LLM Evaluation Ecosystem
Hugging Face Blog834d agoReleaseHugging Face 與韓國 AI 獨角獸 Upstage 合作推出「Open Ko-LLM 排行榜」，旨在解決韓語模型缺乏統一評估標準的問題。該排行榜基於開源社群力量，提供客觀的韓語 LLM 性能評比，涵蓋理解力、推理力及常識等多維度指標。此舉將大幅推動韓國本土開源 AI 生態系的發展，並為非英語系國家的 LLM 評估樹立新典範。
🤗 PEFT welcomes new merging methods★ 80
Hugging Face Blog835d agoReleaseHugging Face 的 PEFT 庫正式支援多種先進的 LoRA 合併技術，包括 TIES-Merging、DARE 和 Task Arithmetic。這些方法解決了傳統線性合併時常見的參數干擾與性能衰退問題。開發者現在可以透過簡單的 API，將針對不同任務微調的適配器融合成單一模型，大幅提升多任務模型的部署效率。
Synthetic data: save money, time and carbon with open source★ 75
Hugging Face Blog838d agoOpinionHugging Face 指出，利用開源模型與工具（如 distilabel）生成合成數據（Synthetic Data），已成為現代 AI 開發的重要趨勢。這種方法不僅能將數據準備成本降低數倍，還能大幅縮短開發週期。更重要的是，透過蒸餾技術訓練小型專屬模型，能顯著減少推論與訓練過程中的碳排放，實現更永續的 AI 生態。
AMD Pervasive AI Developer Contest!
Hugging Face Blog840d agoBusinessAMD 與 Hugging Face 合作舉辦「Pervasive AI 開發者大賽」，旨在推廣 AMD 的 AI 硬體生態系。競賽分為生成式 AI、機器人 AI 與 PC AI 三大賽道，參賽者需利用 AMD Radeon GPU、Ryzen AI 或 Kria 開發套件，並結合 Hugging Face 的模型進行開發。本活動提供豐富的硬體支援與高達 15 萬美元的總獎金，吸引全球開發者共襄盛舉。
From OpenAI to Open LLMs with Messages API on Hugging Face★ 80
Hugging Face Blog846d agoReleaseHugging Face 宣布其文字生成推論工具（TGI）正式支援與 OpenAI 相容的 Messages API。這意味著開發者可以使用現有的 OpenAI SDK，僅需更改 Base URL 和 API 金鑰，就能直接調用託管在 Hugging Face 上的開源大語言模型（如 Llama、Mistral 等）。TGI 會在後台自動處理繁瑣的聊天模板（Chat Templates）轉換，大幅降低了從閉源轉向開源模型的門檻。
SegMoE: Segmind Mixture of Diffusion Experts★ 75
Hugging Face Blog851d agoReleaseSegmind 發表 SegMoE 框架，借鑑 LLM 的混合專家（MoE）架構並將其應用於 Stable Diffusion 等擴散模型。該技術允許開發者將多個專門的 SDXL 專家模型合併為一個，並透過路由機制動態分配生成任務。此方法無需從頭訓練，即可結合不同風格模型的優勢，為影像生成帶來更高的靈活性與效率。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog852d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Hugging Face Text Generation Inference available for AWS Inferentia2★ 75
Hugging Face Blog853d agoReleaseHugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。
Constitutional AI with Open LLMs★ 78
Hugging Face Blog853d agoTutorial本文探討如何使用開源大型語言模型實作「憲政 AI（Constitutional AI）」。這項技術由 Anthropic 提出，透過一組「憲法」原則讓 AI 自我監督與修正輸出（RLAIF）。Hugging Face 展示了利用 TRL 函式庫與 DPO 等開源工具，如何不需大量人類標註，也能訓練出既安全又實用的開源模型。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog854d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog856d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog859d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Hugging Face and Google partner for open AI collaboration★ 80
Hugging Face Blog860d agoBusinessHugging Face 與 Google 宣布建立戰略合作夥伴關係，旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施（如 Vertex AI、GKE 和 TPU）深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型，大幅降低 AI 開發與運算門檻。
Open-source LLMs as LangChain Agents★ 80
Hugging Face Blog861d agoTutorial本文介紹如何使用開源 LLM（如 Mixtral-8x7B）作為 LangChain Agent。過去 Agent 多依賴 GPT-4，但隨著開源模型推理能力提升，透過正確的 Prompt 格式（如 ReAct 框架）與 Hugging Face TGI 整合，開源模型也能穩定執行工具調用與多步驟推理，提供高隱私且低成本的替代方案。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog867d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Run ComfyUI workflows for free with Gradio on Hugging Face Spaces★ 75
Hugging Face Blog871d agoTutorialHugging Face 介紹了如何結合 ComfyUI 與 Gradio，並在 Spaces 上免費運行。使用者只需將 ComfyUI 工作流導出為 API JSON 格式，即可透過 Gradio 建立簡潔的前端介面。這項技術讓創作者能輕鬆分享複雜的 AI 圖像生成工作流，無需讓終端用戶面對複雜的節點圖。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog873d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog875d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
Welcome aMUSEd: Efficient Text-to-Image Generation
Hugging Face Blog881d agoReleaseHugging Face 發表了名為 aMUSEd 的開源文字生成圖片模型，基於 Google 的 MUSE 架構。與主流的擴散模型（Diffusion Models）不同，aMUSEd 採用遮罩圖像建模（MIM）技術，僅需 12 個步驟即可生成圖像。其參數規模僅約 8 億，非常適合在消費級硬體上進行快速推理與微調，並支援圖生圖與局部重繪。
LoRA training scripts of the world, unite!★ 75
Hugging Face Blog883d agoNew ToolHugging Face 於 Diffusers 推出全新的 SDXL LoRA 進階訓練腳本，旨在整合開源社群（如 Kohya）的各種訓練技巧。該腳本支援雙文字編碼器微調、Offset Noise、Min-SNR 權重及多解析度訓練，讓開發者與創作者能以更標準、高效的方式訓練出高品質的 SDXL LoRA 模型。
Speculative Decoding for 2x Faster Whisper Inference★ 75
Hugging Face Blog896d agoTutorialHugging Face 介紹了應用於 Whisper 語音識別模型的「投機解碼（Speculative Decoding）」技術。該技術透過一個較小的草稿模型（如 whisper-tiny）快速生成候選文字，再由大模型（如 whisper-large-v3）進行並行驗證。此方法在完全不犧牲辨識準確度的前提下，成功將 Whisper 的推論速度提高整整 2 倍，且已整合至 Transformers 函式庫中。
2023, year of open LLMs★ 75
Hugging Face Blog898d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face★ 90
Hugging Face Blog905d agoReleaseMistral AI 發表全新混合專家（MoE）模型 Mixtral 8x7B，總參數 46.7B 但每次 token 僅啟用 12.9B，速度極快。其在多項基準測試中超越 Llama 2 70B 及 GPT-3.5，並支援 32k 脈絡長度。Hugging Face 已於 Transformers、TGI 及推理終端全面整合，並採 Apache 2.0 開源授權。
Mixture of Experts Explained★ 85
Hugging Face Blog905d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
Clone your voice using open-source models★ 75
Replicate Blog910d agoReleaseReplicate 宣布支援 RVC（Retrieval-based Voice Conversion）的微調功能，讓開發者與創作者能輕鬆複製聲音。使用者只需提供 YouTube 影片等音訊來源，透過 Replicate 的 API 撰寫幾行程式碼，即可自動轉換為訓練數據集並開始微調。這項更新降低了高品質開源聲音複製的門檻，適合應用於遊戲配音、虛擬主播及個人化語音生成。
SetFitABSA: Few-Shot Aspect Based Sentiment Analysis using SetFit★ 75
Hugging Face Blog910d agoReleaseHugging Face 發表 SetFitABSA，將高效的少樣本學習框架 SetFit 應用於「基於屬性的情感分析（ABSA）」。傳統 ABSA 需要大量標註數據，而 SetFitABSA 僅需數十個樣本即可精確識別文本中的特定屬性（如服務、價格）及其情感傾向。該方法訓練速度極快、不需龐大 GPU 資源，且免去了大型語言模型（LLM）複雜的 Prompt 調整，是極具性價比的 NLP 解決方案。
How to create an AI narrator for your life
Replicate Blog910d agoTutorialReplicate 發布了一篇趣味實用的技術教學，展示如何利用網路攝影機（Webcam）捕捉畫面，並透過 LLaVA 或 GPT-4V 等多模態視覺模型分析影像，最後結合 ElevenLabs 的語音合成技術，以經典自然紀錄片主持人大衛·艾登堡（David Attenborough）的口吻與聲音，為你的日常生活進行即時的幽默旁白。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog911d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Businesses are building on open-source AI★ 75
Replicate Blog911d agoBusinessAI 模型託管平台 Replicate 宣布完成 4,000 萬美元的 B 輪融資，由知名創投 a16z 領投。這筆資金將用於擴展其雲端基礎設施，幫助更多企業與開發者透過簡單的 API 運行、微調及部署開源 AI 模型。此融資反映出企業級市場對於開源 AI（如 Llama、Stable Diffusion）的需求正迎來爆發性成長。