Faster Text Generation with Self-Speculative Decoding★ 78
Hugging Face Blog560d agoReleaseHugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog561d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Share your open ML datasets on Hugging Face Hub!
Hugging Face Blog568d agoReleaseHugging Face 官方發文鼓勵機器學習研究人員將其開源數據集託管至 Hugging Face Hub。透過 Hub 提供的強大工具（如數據集瀏覽器、版本控制與 metadata 標記），研究人員能更輕鬆地推廣其研究成果。此舉旨在降低數據集獲取門檻，進一步推動全球開源 AI 社群的協作與創新。
Hugging Face + PyCharm★ 75
Hugging Face Blog575d agoNew ToolJetBrains PyCharm 與 Hugging Face 展開合作，在最新版本中提供原生整合。開發者現在無需離開編輯器，即可直接瀏覽 Hugging Face Hub 上的數十萬個開源模型與資料集。此整合還支援程式碼自動補全、模型卡片預覽以及快速生成載入程式碼，大幅提升 AI 與機器學習的開發效率。
Argilla 2.4: Easily Build Fine-Tuning and Evaluation Datasets on the Hub — No Code Required★ 75
Hugging Face Blog576d agoRelease開源數據標註平台 Argilla 發布 2.4 版本，主打與 Hugging Face Hub 的深度無程式碼整合。用戶現在可以直接在 Hugging Face Spaces 上部署 Argilla，並透過直觀的 UI 介面進行數據導入、協作標註與導出。這大幅降低了為大語言模型（LLM）準備指令微調（SFT）和偏好對齊（DPO）數據集的門檻，讓非技術背景的領域專家也能輕鬆參與數據策劃。
Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog582d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。
A Deepdive into Aya Expanse: Advancing the Frontier of Multilinguality★ 75
Hugging Face Blog587d agoReleaseCohere For AI 發表全新開源多語言模型家族 Aya Expanse（包含 8B 與 32B 參數版本），支援 23 種語言。該模型透過創新的資料套利、合成資料生成與多語言偏好對齊技術，在多項基準測試中擊敗了 Llama 3.1、Gemma 2 等同級甚至更大規模的模型，為全球多語言 AI 研究樹立了新標竿。
CinePile 2.0 - making stronger datasets with adversarial refinement★ 75
Hugging Face Blog588d agoReleaseCinePile 2.0 是一個專為長影片理解設計的問答資料集更新版本。本次更新引入了「對抗性精煉（Adversarial Refinement）」技術，旨在解決 LLM 生成干擾項過於簡單或存在偏誤的問題。透過篩選掉不需看影片就能回答的漏洞題目，CinePile 2.0 能更精準地評估多模態模型對複雜視覺與敘事邏輯的真實理解能力。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog588d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Introducing SynthID Text★ 85
Hugging Face Blog588d agoReleaseGoogle 與 Hugging Face 宣布將 SynthID Text 技術整合至 Transformers 庫中。這項技術能在不影響文本生成品質的前提下，於 LLM 輸出的機率分佈中嵌入隱形浮水印。開發者現在可以輕鬆在自己的模型中啟用此功能，以識別和追蹤 AI 生成的文本，應對虛假訊息與版權爭議。
Diffusers welcomes Stable Diffusion 3.5 Large★ 85
Hugging Face Blog589d agoReleaseHugging Face 的 Diffusers 程式庫已正式支援 Stability AI 最新推出的 Stable Diffusion 3.5 Large 模型。此模型擁有 80 億參數，在提示詞遵循度、圖像品質及多樣性上皆有顯著提升。開發者現在可以透過簡單的程式碼載入模型，並利用 CPU Offloading、bfloat16 及量化技術，在消費級 GPU 上順暢運行。
Hugging Face Teams Up with Protect AI: Enhancing Model Security for the ML Community★ 75
Hugging Face Blog589d agoBusinessHugging Face 宣布與 AI 安全領導廠商 Protect AI 展開合作，旨在提升開源機器學習（ML）社群的模型安全性。雙方將共同應對日益嚴重的開源模型安全威脅，如惡意代碼注入與反序列化漏洞。透過整合先進的安全掃描技術，此合作將幫助開發者在 Hugging Face Hub 上更安全地分享與下載模型，降低供應鏈安全風險。
Releasing Outlines-core 0.1.0: structured generation in Rust and Python★ 75
Hugging Face Blog589d agoReleaseOutlines 團隊與 Hugging Face 合作發布了 outlines-core 0.1.0，將結構化生成的核心邏輯（如 FSM 與 Token 遮罩）用 Rust 重寫。這項更新不僅大幅降低了引導生成時的 CPU 開銷與延遲，也讓 Rust 開發者能直接在 Rust 生態系中實現精準的 JSON 或正規表示式輸出控制，同時保持對 Python 的完美支援。
Deploying Speech-to-Speech on Hugging Face★ 75
Hugging Face Blog589d agoTutorialHugging Face 發布技術教學，介紹如何在 Inference Endpoints 上部署語音對語音（Speech-to-Speech, S2S）模型。透過自訂 EndpointHandler 與串流（Streaming）技術，開發者可以實現低延遲的即時語音互動。本文以開源的 Mini-Omni 模型為例，展示了從環境設定、撰寫自訂推論邏輯到部署至 GPU 節點的完整流程。
Fixing Gradient Accumulation★ 85
Hugging Face Blog595d agoTutorial在微調 LLM 時，梯度累積（Gradient Accumulation）常被用來模擬大 Batch Size。然而，Hugging Face 指出，當訓練樣本長度不一時，傳統「直接除以累積步數」的作法會導致數學上的權重偏差。這篇技術部落格詳細解釋了此問題，並介紹了在 Hugging Face Trainer 中引入的全新修正機制，確保梯度累積與真實大 Batch Size 的訓練結果完全一致。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog601d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Faster Assisted Generation with Dynamic Speculation★ 75
Hugging Face Blog603d agoReleaseHugging Face 介紹了在 transformers 庫中實現的「動態投機（Dynamic Speculation）」技術。傳統的輔助生成（Assisted Generation）使用固定長度的草稿 Token 進行驗證，而動態投機則會根據草稿模型的即時接受率，動態調整預測長度（K 值）。這項改進能在不犧牲生成品質的前提下，顯著減少不必要的計算並提升推理速度，讓開發者更輕鬆地優化 LLM 部署。
Introducing the Open FinLLM Leaderboard★ 75
Hugging Face Blog607d agoReleaseHugging Face 宣布推出「Open FinLLM Leaderboard」，這是一個專為金融領域大語言模型（FinLLMs）設計的開源評測排行榜。該排行榜旨在解決通用評測基準無法準確反映金融專業能力的問題，透過多維度的金融數據集（如情感分析、關係抽取、金融問答等）來評估模型。這為金融機構與研究人員在選擇、微調和部署金融 AI 模型時，提供了一個透明且標準化的參考依據。
A Short Summary of Chinese AI Global Expansion★ 75
Hugging Face Blog608d agoCommentary隨著 Qwen、DeepSeek、Yi 等中國開源模型在 Hugging Face 排行榜上名列前茅，中國 AI 勢力正加速全球擴張。這些模型憑藉強大的多語言能力、數學與程式碼推理性能，以及極高的性價比，成為全球開發者在 Llama 之外的重要選擇。本文總結了中國 AI 透過開源生態系打破地理限制、走向國際的關鍵策略與面臨的挑戰。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog610d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
FineVideo: behind the scenes★ 75
Hugging Face Blog618d agoReleaseHugging Face 釋出全新開源影片資料集「FineVideo」的幕後製作過程。為了解決高品質影片數據稀缺的問題，該項目收錄了超過 4.3 萬部影片（約 3,400 小時），並提供高達 120 萬個詳細的影片與文字配對。文章深入探討了其自動化清理、場景分割與多模態模型標註的管線（Pipeline）設計，旨在為社群提供訓練下一代影片理解與生成模型（Video-LLM）的標準基石。
Optimize and deploy with Optimum-Intel and OpenVINO GenAI★ 75
Hugging Face Blog621d agoTutorial本文介紹 Hugging Face 與 Intel 合作的最新部署方案。透過 optimum-intel 工具，開發者可以輕鬆將 Transformers 模型轉換並量化（如 INT4）為 OpenVINO 格式。接著，利用全新且輕量化的 openvino-genai API，即可在 Intel CPU、GPU 及 NPU 上實現極速的生成式 AI 推理，大幅簡化了從模型訓練到邊緣端部署的流程。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog623d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Introducing Community Tools on HuggingChat★ 75
Hugging Face Blog625d agoReleaseHugging Face 宣布在 HuggingChat 中推出「社群工具 (Community Tools)」功能。這項更新讓 HuggingChat 上的開源模型（如 Llama 3.1、Command R+）能夠調用由社群開發的各種工具，例如圖像生成、網頁抓取、計算機等。開發者可以使用 Python 輕鬆建立並分享工具，使開源 AI 助理具備更強大的 Agent 實用能力。
Accelerate 1.0.0★ 80
Hugging Face Blog628d agoReleaseHugging Face 旗下熱門的分散式訓練工具庫 Accelerate 正式迎來 1.0.0 版本。此版本標誌著 API 的全面穩定與成熟，大幅優化了 PyTorch FSDP 和 DeepSpeed 的整合，並提升了大模型推理（Big Model Inference）的資源調配效率。對於需要跨 GPU/TPU 進行模型微調或部署的開發者與研究人員而言，這是一次關鍵的重大升級。
The 5 Most Under-Rated Tools on Hugging Face★ 75
Hugging Face Blog650d agoTutorialHugging Face 官方部落格盤點了 5 個被低估的「幕後英雄」工具。這些工具能解決開發者在處理 AI 模型與資料集時的痛點，包括支援多線程與斷點續傳的 huggingface-cli、免費測試 15 萬個模型的 Serverless 推論 API、免下載即可用 SQL 查詢的 Dataset Viewer、完全在瀏覽器運行的 Gradio-lite，以及兼顧安全與極速載入的 safetensors 格式。這些工具能顯著優化 AI 開發工作流。
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2★ 80
Hugging Face Blog651d agoTutorial在 LLM 訓練中，傳統的 Padding 會浪費大量算力。Hugging Face 介紹了結合 Flash Attention 2 的 Packing（序列打包）技術，將多個短樣本拼接成固定長度，並利用 FA2 的變長注意力（varlen）避免樣本間干擾。這項優化能顯著提升訓練吞吐量並降低顯存佔用，已整合至 TRL 等工具中。
Introduction to ggml★ 80
Hugging Face Blog659d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
Welcome Falcon Mamba: The first strong attention-free 7B model★ 85
Hugging Face Blog660d agoRelease阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。
Tool Use, Unified★ 85
Hugging Face Blog660d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。