Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog855d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Fine-Tune W2V2-Bert for low-resource ASR with 🤗 Transformers★ 75
Hugging Face Blog866d agoTutorialHugging Face 發布技術指南，詳細說明如何利用 W2V2-BERT 進行低資源語言的自動語音辨識（ASR）微調。W2V2-BERT 結合了 Wav2Vec 2.0 與 BERT 的優勢，特別適合訓練樣本稀缺的語言。本教學涵蓋了從數據準備、特徵提取、CTC 模型配置到使用 Trainer API 進行訓練與評估的完整實作流程。
PatchTSMixer in HuggingFace★ 75
Hugging Face Blog866d agoReleaseIBM Research 開發的 PatchTSMixer 正式登陸 Hugging Face transformers 庫。該模型採用 Patching 技術與輕量級的 MLP-Mixer 架構，避開了傳統 Transformer 的高運算複雜度。它不僅支援多元時間序列的預測、分類與異常檢測，還具備強大的自監督預訓練與微調能力，為時間序列任務提供極佳的效能與速度平衡。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Mixture of Experts Explained★ 85
Hugging Face Blog905d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
Scaffold Replicate apps with one command
Replicate Blog924d agoNew ToolReplicate 宣布推出全新的 CLI 腳手架（Scaffold）指令，旨在簡化開發者整合 AI 模型的起步流程。開發者現在只需執行單一指令，即可自動建立包含 Replicate API 整合的專案範本。這項更新大幅降低了開發 AI 應用的前期配置時間，非常適合想要快速驗證概念（PoC）或建立原型（Prototype）的開發者。
SDXL in 4 steps with Latent Consistency LoRAs★ 85
Hugging Face Blog937d agoReleaseHugging Face 與 LCM 團隊合作推出 LCM-LoRA，這是一種通用的低秩自適應（LoRA）蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步，同時保持極佳的影像品質。最重要的是，它能直接套用於現有的任何 SDXL 微調模型與 LoRA，無需重新訓練，為即時圖像生成帶來突破。
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora★ 75
Hugging Face Blog939d agoTutorialHugging Face 釋出技術指南，比較 RoBERTa、Llama 2 與 Mistral 7B 在「災難推特分類」任務上的表現。 透過 LoRA（低秩適應）技術，詳細分析了傳統編碼器模型與現代生成式大模型在分類精準度、訓練時間與硬體資源（VRAM）上的折衷。 結果顯示，雖然 7B 模型具備強大理解力，但較小的 RoBERTa 在特定分類任務上依然展現出極高的成本效益與競爭力。
Personal Copilot: Train Your Own Coding Assistant★ 75
Hugging Face Blog950d agoTutorialHugging Face 發布實用教學，指導開發者如何利用開源程式碼模型（如 StarCoder）微調出專屬的 Personal Copilot。透過 peft 的 LoRA 技術與 trl 庫，開發者可以用極低的硬體成本，在個人程式碼庫上進行微調。最後，教學展示了如何將微調後的模型部署至 Inference Endpoints，並無縫整合進 VS Code 編輯器中。
Interactively explore your Huggingface dataset with one line of code
Hugging Face Blog952d agoNew ToolHugging Face 介紹了如何利用開源工具 Renumics Spotlight，僅需一行程式碼即可對 Hugging Face Datasets 進行互動式探索。此功能支援文本、圖像、音訊等多模態數據，並能視覺化高維度嵌入（embeddings），幫助開發者快速找出標籤錯誤、數據偏誤或異常值，大幅提升數據整理（Data Curation）與模型除錯的效率。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog952d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Announcing v0: Generative UI★ 85
Vercel Changelog965d agoReleaseVercel 正式發表 AI 輔助 UI 生成工具「v0」。用戶只需輸入自然語言描述，v0 即可自動產生高品質的 React、Tailwind CSS 與 shadcn/ui 程式碼。該工具支援互動式微調與即時預覽，並能一鍵複製程式碼或部署，極大提升了前端開發與原型設計的效率。
Make smooth AI generated videos with AnimateDiff and an interpolator
Replicate Blog973d agoTutorialReplicate 介紹了如何將熱門的 AI 動畫生成工具 AnimateDiff 與 ST-MFNet 幀插值（frame interpolation）技術結合。透過這種方法，使用者可以解決 AI 生成影片常見的抖動與卡頓問題，從文字提示詞直接產出高幀率、流暢且具備真實感的影片，大幅提升 AI 影片的視覺品質。
🧨 Accelerating Stable Diffusion XL Inference with JAX on Cloud TPU v5e★ 70
Hugging Face Blog974d agoTutorialHugging Face 發表技術指南，展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯（JIT）與 Diffusers 庫的 Flax 支援，開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試，為尋求 GPU 替代方案的團隊提供高效能選擇。
Finetune Stable Diffusion Models with DDPO via TRL★ 75
Hugging Face Blog978d agoReleaseHugging Face 宣布在其 TRL（Transformer Reinforcement Learning）庫中支援 DDPO（去噪擴散策略優化）演算法。這項更新允許開發者與研究人員使用強化學習（RL）來微調 Stable Diffusion 等擴散模型。透過自訂的獎勵函數（如美學評分或提示詞對齊度），DDPO 能有效引導模型生成更符合特定目標的圖像，解決了傳統監督式微調難以優化複雜指標的痛點。
Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face Blog988d agoBusiness個人理財應用 Rocket Money 面臨交易分類模型流量劇烈波動的挑戰。透過導入 Hugging Face Inference Endpoints，他們實現了自動彈性伸縮（Auto-scaling），不僅大幅降低基礎設施成本，還簡化了部署流程，讓數據科學團隊無需依賴繁重的 DevOps 即可快速將模型推向生產環境，同時保持極低的延遲。
Introduction to 3D Gaussian Splatting★ 85
Hugging Face Blog989d agoTutorialHugging Face 釋出 3D Gaussian Splatting (3DGS) 的技術入門指南。3DGS 是 3D 重建領域的革命性技術，透過將稀疏點雲轉化為數百萬個 3D 高斯橢圓體，實現了超越 NeRF 的即時渲染速度（100+ FPS）與極短的訓練時間。本文詳細解析其運作原理，並介紹如何在 Hugging Face 平台上整合與展示 3DGS 成果。
Object Detection Leaderboard
Hugging Face Blog989d agoNew ToolHugging Face 宣布推出「物件偵測排行榜」（Object Detection Leaderboard），旨在為電腦視覺社群提供一個公開、透明的平台，用以評估和比較各種物件偵測模型。該排行榜主要基於 COCO 數據集進行評估，涵蓋了從傳統的 CNN 架構（如 YOLO）到新興的 Transformer 架構（如 DETR）等多種模型。用戶可以直接提交託管在 Hugging Face Hub 上的模型進行評測，比較其精準度（mAP）與參數量等關鍵指標。
AudioLDM 2, but faster ⚡️★ 75
Hugging Face Blog1008d agoTutorialHugging Face 釋出 AudioLDM 2 的推理加速指南。透過將模型轉為 float16 半精度、將預設的 200 步調度器替換為僅需 25 步的 DPMSolverMultistepScheduler，並結合 PyTorch 2.0 的 torch.compile 技術，開發者可以將音訊生成速度提升數倍，在 GPU 上實現秒級的文字轉語音與音樂生成。
Vercel AI Accelerator Demo Day
Vercel Changelog1014d agoBusinessVercel 舉辦了首屆 AI Accelerator 的 Demo Day，展示了從 2000 多個申請者中脫穎而出的 40 家 AI 新創團隊。這些團隊在為期六週的計劃中，利用 Next.js、Vercel AI SDK 以及合作夥伴（如 OpenAI、Replicate）的資源，開發出涵蓋開發者工具、圖像生成、生產力等領域的創新應用，展現了 AI 應用的快速開發潛力。
Painting with words: a history of text-to-image AI
Replicate Blog1016d agoCommentary本文回顧了文字生成圖像（Text-to-Image）技術的演進歷程。從早期的 GAN 限制，到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮，再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出，開源社群與微調技術正以前所未有的速度重塑視覺創作。
Optimizing Bark using 🤗 Transformers★ 75
Hugging Face Blog1029d agoTutorialBark 是 Suno 推出基於 Transformer 的文字轉語音（TTS）與音訊生成模型。由於其包含多個子模型，推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術，包括啟用半精度（fp16）、智慧 CPU 卸載（CPU Offloading）、PyTorch 2.0 的 SDPA（縮放點積注意力）以及 `torch.compile`，在不犧牲音質的前提下，將 VRAM 佔用降低 50% 以上，並顯著提升生成速度。
Deploying Hugging Face Models with BentoML: DeepFloyd IF in Action
Hugging Face Blog1029d agoTutorial本教學介紹如何利用開源模型部署框架 BentoML，將 Hugging Face 上的 DeepFloyd IF 影像生成模型轉化為生產級 API。文章詳細解析了 DeepFloyd IF 的多階段（Stage I/II/III）架構，並展示如何透過 BentoML 的 Runner 機制優化 GPU 資源分配。最後提供完整的程式碼範例與部署步驟，幫助開發者快速將複雜的擴散模型推向雲端生產環境。
Deploy MusicGen in no time with Inference Endpoints
Hugging Face Blog1034d agoTutorial本文介紹如何利用 Hugging Face Inference Endpoints 託管服務，在幾分鐘內將 Meta 的開源音樂生成模型 MusicGen 部署為生產級 API。使用者無需自行管理複雜的 GPU 基礎設施，只需選擇模型與硬體規格，即可一鍵生成專屬的 API 端點，並透過簡單的 HTTP 請求實現文字生成音樂的功能。
Towards Encrypted Large Language Models with FHE★ 75
Hugging Face Blog1036d agoTutorialHugging Face 與密碼學安全公司 Zama 合作，發表了利用全同態加密（FHE）運行大語言模型（LLM）的技術方案。該技術允許用戶將加密的 Prompt 發送到雲端，雲端模型在完全不解密的情況下進行推論並返回加密結果，確保數據隱私。雖然目前面臨運算延遲高與需要極低位元量化等挑戰，但這為金融與醫療等高隱私需求領域開闢了全新可能。
Huggy Lingo: Using Machine Learning to Improve Language Metadata on the Hugging Face Hub
Hugging Face Blog1036d agoReleaseHugging Face 發表「Huggy Lingo」專案，旨在解決 Hub 上許多模型和數據集缺乏或標記錯誤語言元數據（Metadata）的問題。該系統利用機器學習（如語言識別模型）分析 README 內容與數據集樣本，自動預測並補全正確的語言標籤（如 ISO 639 代碼）。這項改進將大幅提升全球開發者在 Hub 上搜尋、篩選特定語言資源的效率，特別是針對低資源語言的發掘。
Stable Diffusion XL on Mac with Advanced Core ML Quantization★ 72
Hugging Face Blog1042d agoReleaseHugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術（如 6-bit 與 8-bit 量化），成功將龐大的 SDXL 模型體積縮減，使其能在 Apple Silicon（M1/M2 系列晶片）的 Mac 上流暢運行，顯著降低記憶體需求，並充分釋放 Apple 神經網路引擎（ANE）的硬體效能。
Introducing Agents.js: Give tools to your LLMs using JavaScript
Hugging Face Blog1045d agoReleaseHugging Face 發表全新 JavaScript 函式庫「Agents.js」（@huggingface/agents），旨在讓 Web 與 Node.js 開發者能輕鬆為大型語言模型（LLM）配置工具。透過此庫，開發者可以使用 JS/TS 建立具備推理與執行能力的 AI Agent，使其能自動選擇並調用 Hugging Face 上的各種模型（如圖像生成、翻譯、語音合成等）來完成複雜任務。
Iterating from design to deploy: the shape of future builders★ 70
Vercel Changelog1055d agoOpinionVercel 深入探討了前端開發流程的演變，指出傳統「設計、交付、開發、部署」的線性流程正被快速的「設計到部署」迭代所取代。隨著 AI 技術與視覺化工具的興起，設計師與開發者之間的界線變得模糊，非技術人員也能更直接地參與產品的構建與發布。文章強調未來的「Builder」（建構者）將不再受限於傳統職能，而是能利用現代平台與 AI 協作，以極高的速度將創意轉化為線上運行的產品。
Leveraging Hugging Face for complex generative AI use cases
Hugging Face Blog1068d agoBusiness本案例研究探討了企業級生成式 AI 平台 Writer 如何與 Hugging Face 深度合作。Writer 透過 Hugging Face 的 Transformers、Accelerate 以及 Text Generation Inference (TGI) 等技術，成功開發並部署了專為企業設計的 Palmyra 系列模型。這不僅大幅降低了模型訓練與推論的成本，更在確保數據隱私與合規性的前提下，為企業客戶提供了高度客製化的 AI 解決方案。