Vision Language Models Explained★ 80
Hugging Face Blog783d agoTutorialHugging Face 發布視覺語言模型（VLM）科普指南，詳解其結合圖像編碼器與文字解碼器的架構設計。文章涵蓋了從多模態預訓練到指令微調的完整訓練流程，並介紹了 LLaVA、Idefics 等主流開源模型。此外，也提供了如何使用 Hugging Face transformers 庫進行推理的實用程式碼範例，是理解多模態 AI 的必讀教材。
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
Hugging Face Blog791d agoTutorialSetFit 是一款高效的少樣本文字分類框架。本文介紹如何結合 Hugging Face Optimum Intel，在 Intel Xeon 處理器上進行硬體級推論加速。透過 OpenVINO 等技術，開發者無需 GPU 即可在 CPU 上實現極低延遲與高吞吐量的 NLP 模型部署。
Pollen-Vision: Unified interface for Zero-Shot vision models in robotics★ 75
Hugging Face Blog800d agoNew ToolPollen-Vision 是一個專為機器人設計的開源視覺庫，旨在簡化 Zero-Shot（零樣本）視覺模型（如 OWL-ViT、SAM 等）的整合。它提供統一的 API，讓機器人無需重新訓練即可透過自然語言或點擊來識別與定位物體。此工具能顯著降低機器人視覺開發的門檻，加速具身智能（Embodied AI）的應用落地。
Introducing the Chatbot Guardrails Arena★ 75
Hugging Face Blog804d agoReleaseHugging Face 與 Lighthouz AI 合作推出「Chatbot Guardrails Arena」，這是一個專為評估大語言模型（LLM）安全防護網（Guardrails）而設計的開源社群平台。該平台旨在測試各大模型與防護系統在面對惡意提示、越獄攻擊及敏感話題時的防禦能力。透過標準化的基準測試，開發者可以直觀地比較不同防護方案的優劣，構建更安全可靠的 AI 應用。
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models★ 85
Hugging Face Blog805d agoReleaseHugging Face 發布了當時最大的開源合成數據集 Cosmopedia，內含 250 億 Token。該項目利用 Mixtral-8x7B 模型，根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明，使用此合成數據預訓練的 1.8B 模型（Cosmo-1.8B）在多項基準測試中超越了同量級的知名模型，為 LLM 預訓練提供了全新的合成數據生成範式。
StarCoder2 and The Stack v2★ 80
Hugging Face Blog826d agoRelease由 Hugging Face 與 ServiceNow 主導的 BigCode 社群，聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本，並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言，並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能，持續推動負責任且開放的 AI 開發。
TTS Arena: Benchmarking Text-to-Speech Models in the Wild★ 75
Hugging Face Blog827d agoNew ToolHugging Face 發表全新語音模型評測平台「TTS Arena」。該平台借鑑了 LMSYS Chatbot Arena 的群眾外包盲測機制，讓使用者聆聽兩段由不同匿名 TTS 模型生成的語音並進行投票。透過 Elo 評分系統，TTS Arena 旨在解決傳統客觀指標無法準確反映人類聽覺偏好的痛點，建立一個客觀且動態的語音合成模型排行榜。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog828d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
Patch Time Series Transformer in Hugging Face★ 75
Hugging Face Blog853d agoReleaseHugging Face 宣布在其 transformers 函式庫中整合 PatchTST 模型。該模型採用「補丁（Patching）」技術保留局部語義並降低計算複雜度，並結合「通道獨立」處理多變量數據。開發者現在可以透過熟悉的 Hugging Face API 輕鬆進行高效的時間序列預測與微調。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog855d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Fine-Tune W2V2-Bert for low-resource ASR with 🤗 Transformers★ 75
Hugging Face Blog866d agoTutorialHugging Face 發布技術指南，詳細說明如何利用 W2V2-BERT 進行低資源語言的自動語音辨識（ASR）微調。W2V2-BERT 結合了 Wav2Vec 2.0 與 BERT 的優勢，特別適合訓練樣本稀缺的語言。本教學涵蓋了從數據準備、特徵提取、CTC 模型配置到使用 Trainer API 進行訓練與評估的完整實作流程。
PatchTSMixer in HuggingFace★ 75
Hugging Face Blog866d agoReleaseIBM Research 開發的 PatchTSMixer 正式登陸 Hugging Face transformers 庫。該模型採用 Patching 技術與輕量級的 MLP-Mixer 架構，避開了傳統 Transformer 的高運算複雜度。它不僅支援多元時間序列的預測、分類與異常檢測，還具備強大的自監督預訓練與微調能力，為時間序列任務提供極佳的效能與速度平衡。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Mixture of Experts Explained★ 85
Hugging Face Blog905d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
SDXL in 4 steps with Latent Consistency LoRAs★ 85
Hugging Face Blog937d agoReleaseHugging Face 與 LCM 團隊合作推出 LCM-LoRA，這是一種通用的低秩自適應（LoRA）蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步，同時保持極佳的影像品質。最重要的是，它能直接套用於現有的任何 SDXL 微調模型與 LoRA，無需重新訓練，為即時圖像生成帶來突破。
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora★ 75
Hugging Face Blog939d agoTutorialHugging Face 釋出技術指南，比較 RoBERTa、Llama 2 與 Mistral 7B 在「災難推特分類」任務上的表現。 透過 LoRA（低秩適應）技術，詳細分析了傳統編碼器模型與現代生成式大模型在分類精準度、訓練時間與硬體資源（VRAM）上的折衷。 結果顯示，雖然 7B 模型具備強大理解力，但較小的 RoBERTa 在特定分類任務上依然展現出極高的成本效益與競爭力。
Interactively explore your Huggingface dataset with one line of code
Hugging Face Blog952d agoNew ToolHugging Face 介紹了如何利用開源工具 Renumics Spotlight，僅需一行程式碼即可對 Hugging Face Datasets 進行互動式探索。此功能支援文本、圖像、音訊等多模態數據，並能視覺化高維度嵌入（embeddings），幫助開發者快速找出標籤錯誤、數據偏誤或異常值，大幅提升數據整理（Data Curation）與模型除錯的效率。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog952d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
🧨 Accelerating Stable Diffusion XL Inference with JAX on Cloud TPU v5e★ 70
Hugging Face Blog974d agoTutorialHugging Face 發表技術指南，展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯（JIT）與 Diffusers 庫的 Flax 支援，開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試，為尋求 GPU 替代方案的團隊提供高效能選擇。
Finetune Stable Diffusion Models with DDPO via TRL★ 75
Hugging Face Blog978d agoReleaseHugging Face 宣布在其 TRL（Transformer Reinforcement Learning）庫中支援 DDPO（去噪擴散策略優化）演算法。這項更新允許開發者與研究人員使用強化學習（RL）來微調 Stable Diffusion 等擴散模型。透過自訂的獎勵函數（如美學評分或提示詞對齊度），DDPO 能有效引導模型生成更符合特定目標的圖像，解決了傳統監督式微調難以優化複雜指標的痛點。
Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face Blog988d agoBusiness個人理財應用 Rocket Money 面臨交易分類模型流量劇烈波動的挑戰。透過導入 Hugging Face Inference Endpoints，他們實現了自動彈性伸縮（Auto-scaling），不僅大幅降低基礎設施成本，還簡化了部署流程，讓數據科學團隊無需依賴繁重的 DevOps 即可快速將模型推向生產環境，同時保持極低的延遲。
Object Detection Leaderboard
Hugging Face Blog989d agoNew ToolHugging Face 宣布推出「物件偵測排行榜」（Object Detection Leaderboard），旨在為電腦視覺社群提供一個公開、透明的平台，用以評估和比較各種物件偵測模型。該排行榜主要基於 COCO 數據集進行評估，涵蓋了從傳統的 CNN 架構（如 YOLO）到新興的 Transformer 架構（如 DETR）等多種模型。用戶可以直接提交託管在 Hugging Face Hub 上的模型進行評測，比較其精準度（mAP）與參數量等關鍵指標。
Introduction to 3D Gaussian Splatting★ 85
Hugging Face Blog989d agoTutorialHugging Face 釋出 3D Gaussian Splatting (3DGS) 的技術入門指南。3DGS 是 3D 重建領域的革命性技術，透過將稀疏點雲轉化為數百萬個 3D 高斯橢圓體，實現了超越 NeRF 的即時渲染速度（100+ FPS）與極短的訓練時間。本文詳細解析其運作原理，並介紹如何在 Hugging Face 平台上整合與展示 3DGS 成果。
AudioLDM 2, but faster ⚡️★ 75
Hugging Face Blog1008d agoTutorialHugging Face 釋出 AudioLDM 2 的推理加速指南。透過將模型轉為 float16 半精度、將預設的 200 步調度器替換為僅需 25 步的 DPMSolverMultistepScheduler，並結合 PyTorch 2.0 的 torch.compile 技術，開發者可以將音訊生成速度提升數倍，在 GPU 上實現秒級的文字轉語音與音樂生成。
Painting with words: a history of text-to-image AI
Replicate Blog1016d agoCommentary本文回顧了文字生成圖像（Text-to-Image）技術的演進歷程。從早期的 GAN 限制，到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮，再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出，開源社群與微調技術正以前所未有的速度重塑視覺創作。
Optimizing Bark using 🤗 Transformers★ 75
Hugging Face Blog1029d agoTutorialBark 是 Suno 推出基於 Transformer 的文字轉語音（TTS）與音訊生成模型。由於其包含多個子模型，推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術，包括啟用半精度（fp16）、智慧 CPU 卸載（CPU Offloading）、PyTorch 2.0 的 SDPA（縮放點積注意力）以及 `torch.compile`，在不犧牲音質的前提下，將 VRAM 佔用降低 50% 以上，並顯著提升生成速度。
Deploy MusicGen in no time with Inference Endpoints
Hugging Face Blog1034d agoTutorial本文介紹如何利用 Hugging Face Inference Endpoints 託管服務，在幾分鐘內將 Meta 的開源音樂生成模型 MusicGen 部署為生產級 API。使用者無需自行管理複雜的 GPU 基礎設施，只需選擇模型與硬體規格，即可一鍵生成專屬的 API 端點，並透過簡單的 HTTP 請求實現文字生成音樂的功能。
Towards Encrypted Large Language Models with FHE★ 75
Hugging Face Blog1036d agoTutorialHugging Face 與密碼學安全公司 Zama 合作，發表了利用全同態加密（FHE）運行大語言模型（LLM）的技術方案。該技術允許用戶將加密的 Prompt 發送到雲端，雲端模型在完全不解密的情況下進行推論並返回加密結果，確保數據隱私。雖然目前面臨運算延遲高與需要極低位元量化等挑戰，但這為金融與醫療等高隱私需求領域開闢了全新可能。
Huggy Lingo: Using Machine Learning to Improve Language Metadata on the Hugging Face Hub
Hugging Face Blog1036d agoReleaseHugging Face 發表「Huggy Lingo」專案，旨在解決 Hub 上許多模型和數據集缺乏或標記錯誤語言元數據（Metadata）的問題。該系統利用機器學習（如語言識別模型）分析 README 內容與數據集樣本，自動預測並補全正確的語言標籤（如 ISO 639 代碼）。這項改進將大幅提升全球開發者在 Hub 上搜尋、篩選特定語言資源的效率，特別是針對低資源語言的發掘。
Stable Diffusion XL on Mac with Advanced Core ML Quantization★ 72
Hugging Face Blog1042d agoReleaseHugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術（如 6-bit 與 8-bit 量化），成功將龐大的 SDXL 模型體積縮減，使其能在 Apple Silicon（M1/M2 系列晶片）的 Mac 上流暢運行，顯著降低記憶體需求，並充分釋放 Apple 神經網路引擎（ANE）的硬體效能。