GGML and llama.cpp join HF to ensure the long-term progress of Local AI★ 95
Hugging Face Blog102d agoBusiness開源 AI 領域迎來震撼消息，主導本地端 LLM 推理的開源專案 GGML 與 llama.cpp 正式宣布加入 Hugging Face。此舉旨在為本地端與邊緣端 AI 技術提供長期且穩定的資源支持。雙方將深化 GGUF 格式與 Hugging Face 平台的整合，確保開源社群能更輕鬆地在消費級硬體上運行高效能模型，持續推動去中心化與隱私優先的 AI 發展。
Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers★ 82
Hugging Face Blog264d agoTutorialHugging Face 官方解析了 OpenAI 最新開源項目 `gpt-oss` 的核心加速技術，並教導開發者如何將這些優化手段移植到現有的 `transformers` 庫中。重點技巧包含：利用 `torch.compile` 配合「靜態 KV 快取」消除 Python 執行期開銷、引入「投機性解碼」實現多倍速生成，以及透過 FP8/INT4 量化與 Triton 自訂核心緩解記憶體頻寬瓶頸。這些方法能讓開發者在不犧牲精度的情況下，極大化 GPU 的推論效率。
Arm & ExecuTorch 0.7: Bringing Generative AI to the masses★ 80
Hugging Face Blog293d agoReleaseHugging Face 介紹 Arm 與 PyTorch 團隊在 ExecuTorch 0.7 的最新合作成果。此版本專為 Arm 架構（如手機、AI PC）優化生成式 AI 效能，透過先進的量化技術與核心優化（如 Arm KleidiAI），讓開發者能更輕鬆地在邊緣裝置上部署低延遲、低功耗的輕量化大語言模型。
Exploring Quantization Backends in Diffusers★ 80
Hugging Face Blog377d agoTutorialHugging Face 發布技術指南，深入比較 `diffusers` 庫中 bitsandbytes、torchao 等量化後端。文章分析了不同量化格式（如 NF4、INT8、INT4）在 VRAM 佔用、推理速度與圖像品質上的權衡，為在消費級顯卡上部署 Flux.1 或 SD3 等大型擴散模型提供實用指引。這對於希望在有限硬體資源下優化生成式 AI 應用的開發者而言是必讀內容。
Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs★ 75
Hugging Face Blog399d agoReleaseIntel 與 Hugging Face 合作介紹先進的僅權重量化演算法 AutoRound。它透過符號梯度下降優化權重捨入決策，顯著降低 4-bit 等低位元量化帶來的精度損失。該技術全面支援 LLM 與視覺語言模型（VLM），並已深度整合至 Hugging Face 生態系，讓開發者能更輕鬆地在消費級硬體上部署高效能模型。
LLM Inference on Edge: A Fun and Easy Guide to run LLMs via React Native on your Phone!★ 75
Hugging Face Blog452d agoTutorialHugging Face 推出全新教學，指導開發者如何利用 React Native 在 iOS 與 Android 手機上進行邊緣端（Edge）LLM 本地推理。文章介紹了如何整合輕量化模型（如 Qwen 或 Phi）與移動端推理引擎，幫助開發者打造具備高隱私、低延遲且支援離線使用的行動 App。
State of open video generation models in Diffusers★ 82
Hugging Face Blog491d agoCommentary本文回顧了 Hugging Face Diffusers 函式庫中開源影片生成模型的最新進展。隨著技術從 UNet 轉向 Diffusion Transformers (DiTs)，如 CogVideoX、Mochi 1、LTX-Video 及 HunyuanVideo 等模型已全面整合。文章重點介紹了如何透過 CPU 卸載、FP8 量化與 Tiled VAE 等技術，在消費級 GPU 上高效運行這些動輒數十億參數的影片生成模型。
CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard
Hugging Face Blog509d agoCommentaryHugging Face 發表 Open LLM Leaderboard 的碳排放分析報告，探討模型評估過程中的能源消耗與 CO₂ 排放。研究指出，雖然大型模型性能優異，但其碳足跡也呈指數增長；相反地，透過模型量化與參數優化，能在大幅降低能耗的同時保持高水準性能。此報告呼籲社群在追求高分之餘，也應重視「綠色 AI」與運算效率。
Optimize and deploy with Optimum-Intel and OpenVINO GenAI★ 75
Hugging Face Blog620d agoTutorial本文介紹 Hugging Face 與 Intel 合作的最新部署方案。透過 optimum-intel 工具，開發者可以輕鬆將 Transformers 模型轉換並量化（如 INT4）為 OpenVINO 格式。接著，利用全新且輕量化的 openvino-genai API，即可在 Intel CPU、GPU 及 NPU 上實現極速的生成式 AI 推理，大幅簡化了從模型訓練到邊緣端部署的流程。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog622d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Introduction to ggml★ 80
Hugging Face Blog658d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
Memory-efficient Diffusion Transformers with Quanto and Diffusers★ 80
Hugging Face Blog672d agoReleaseHugging Face 介紹了如何利用 optimum-quanto 量化工具來優化 diffusers 中的 Diffusion Transformers (DiT) 模型。隨著 DiT 模型（如 PixArt、HunyuanDiT）體積日益龐大，記憶體成為運行的瓶頸。透過將模型權重進行 8-bit 或 4-bit 量化，開發者可以在消費級 GPU 上以極低的精度損失運行這些大型生成模型，顯著降低 VRAM 需求。
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context★ 95
Hugging Face Blog679d agoReleaseMeta 正式發布 Llama 3.1 系列，包含 8B、70B 及首款能與頂級閉源模型媲美的 405B 旗艦模型。此版本將上下文視窗大幅提升至 128k，並增強了多語言能力。Hugging Face 同步推出完整生態系支援，涵蓋 Transformers 整合、TGI 推論優化、TRL 微調以及 FP8 量化，降低 405B 的部署門檻。
WWDC 24: Running Mistral 7B with Core ML★ 75
Hugging Face Blog680d agoTutorialHugging Face 配合 Apple WWDC 24 的更新，發表了將 Mistral 7B 轉換並運行於 Core ML 的完整指南。 透過 Core ML 轉換工具與 4-bit 等量化技術，開發者能將模型部署至 Apple Silicon 晶片，充分利用 Apple 類神經網路引擎（ANE）與統一記憶體。 此舉大幅降低了在 macOS、iOS 等 Apple 生態系中本地部署高效能開源 LLM 的門檻。
Unlocking Longer Generation with Key-Value Cache Quantization★ 80
Hugging Face Blog747d agoTutorial隨著 LLM 上下文長度增加，KV Cache 佔用的記憶體成為推論瓶頸。Hugging Face 探討了 KV Cache 量化技術（如 INT8 和 INT4），這項技術能減少高達 75% 的快取記憶體佔用。這不僅能顯著提升推論的批次大小（Batch Size），還能在不犧牲太多精度的情況下，讓消費級顯卡也能運行超長文本生成。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog802d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake★ 70
Hugging Face Blog804d agoTutorialHugging Face 發布技術指南，展示如何在搭載 Intel Meteor Lake（Core Ultra）處理器的筆電上本機部署微軟 Phi-2（2.7B）模型。透過 Optimum Intel 與 OpenVINO 進行 INT4 量化，開發者能充分利用筆電的 CPU、GPU 或 NPU 進行低延遲、隱私安全的本機 AI 推理，為 AI PC 的個人助理應用提供實踐範例。
Quanto: a PyTorch quantization backend for Optimum★ 75
Hugging Face Blog806d agoReleaseHugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog854d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog910d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Optimizing your LLM in production★ 85
Hugging Face Blog991d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog994d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
Making LLMs lighter with AutoGPTQ and transformers★ 85
Hugging Face Blog1014d agoReleaseHugging Face 正式將 AutoGPTQ 整合進 transformers 生態系，支援直接載入與運行 4-bit GPTQ 量化模型。此更新大幅降低了 LLM 的 GPU 記憶體門檻（如 70B 模型可在單張消費級 GPU 運行），並提供極佳的推理加速。開發者只需簡單修改程式碼即可啟用，並能無縫使用 Hub 上數千個現成的 GPTQ 模型。
Towards Encrypted Large Language Models with FHE★ 75
Hugging Face Blog1035d agoTutorialHugging Face 與密碼學安全公司 Zama 合作，發表了利用全同態加密（FHE）運行大語言模型（LLM）的技術方案。該技術允許用戶將加密的 Prompt 發送到雲端，雲端模型在完全不解密的情況下進行推論並返回加密結果，確保數據隱私。雖然目前面臨運算延遲高與需要極低位元量化等挑戰，但這為金融與醫療等高隱私需求領域開闢了全新可能。
Stable Diffusion XL on Mac with Advanced Core ML Quantization★ 72
Hugging Face Blog1041d agoReleaseHugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術（如 6-bit 與 8-bit 量化），成功將龐大的 SDXL 模型體積縮減，使其能在 Apple Silicon（M1/M2 系列晶片）的 Mac 上流暢運行，顯著降低記憶體需求，並充分釋放 Apple 神經網路引擎（ANE）的硬體效能。
Faster Stable Diffusion with Core ML on iPhone, iPad, and Mac★ 75
Hugging Face Blog1083d agoTutorial本文介紹如何利用 Core ML 技術在 Apple Silicon 晶片上加速 Stable Diffusion。透過模型量化（如 6-bit/8-bit）與 Apple 神經網路引擎（ANE）的優化，開發者能顯著降低記憶體佔用，在 iPhone、iPad 和 Mac 上實現本地端超快速的圖像生成，有效解決行動裝置記憶體不足（OOM）的痛點。
Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum
Hugging Face Blog1104d agoTutorial本文介紹 Hugging Face 與 Intel 合作的優化方案。透過 Optimum Intel 與神經網路壓縮框架（NNCF），開發者可以輕鬆對 Stable Diffusion 進行訓練後量化（PTQ）。這項技術能將模型壓縮至 INT8 精度，在顯著降低記憶體佔用的同時，大幅加速 Intel CPU 上的圖像生成速度，且幾乎不損失圖像品質。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1105d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Hugging Face Blog1113d agoReleaseHugging Face 介紹了與 Intel 合作的 Q8-Chat 專案，展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術，將模型進行 8-bit (INT8) 量化，大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術，證明無需昂貴的 GPU，利用現有 CPU 架構也能部署低延遲的聊天機器人。
Running IF with 🧨 diffusers on a Free Tier Google Colab
Hugging Face Blog1133d agoTutorialDeepFloyd IF 是一款強大的像素級文字生成圖像模型，因包含龐大的 T5-XXL 文字編碼器，通常需要極高 VRAM 才能運行。Hugging Face 官方發布教學，展示如何透過 `diffusers` 庫的優化技術——包括 8-bit 量化、CPU 卸載（CPU Offloading）以及分階段釋放記憶體，讓開發者能在僅有 15GB VRAM 的免費版 Google Colab（T4 GPU）上，順利跑完該模型的三個級聯階段，生成 1024x1024 的高解析度影像。