Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face Blog988d agoBusiness個人理財應用 Rocket Money 面臨交易分類模型流量劇烈波動的挑戰。透過導入 Hugging Face Inference Endpoints，他們實現了自動彈性伸縮（Auto-scaling），不僅大幅降低基礎設施成本，還簡化了部署流程，讓數據科學團隊無需依賴繁重的 DevOps 即可快速將模型推向生產環境，同時保持極低的延遲。
Optimizing your LLM in production★ 85
Hugging Face Blog992d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。
Introducing Würstchen: Fast Diffusion for Image Generation★ 75
Hugging Face Blog994d agoReleaseHugging Face 介紹了新型圖像生成模型 Würstchen，其核心在於創新的三階段架構，能將潛在空間壓縮高達 42 倍。這使得它在生成速度和訓練成本上遠優於傳統的 Stable Diffusion，同時保持優異的視覺品質。目前該模型已整合至 Diffusers 函式庫中，適合硬體資源有限的開發者與研究人員。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog995d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
SafeCoder vs. Closed-source Code Assistants★ 70
Hugging Face Blog996d agoReleaseHugging Face 推出針對企業設計的 SafeCoder 程式碼助手，旨在解決使用 GitHub Copilot 等閉源工具時的隱私與智慧財產權疑慮。SafeCoder 基於開源的 StarCoder 模型，支援在企業內部的 VPC 或地端環境部署，並允許企業使用私有程式碼進行微調。這項方案不僅確保程式碼不外流，還能提供高度客製化的開發輔助體驗。
Efficient Controllable Generation for SDXL with T2I-Adapters★ 70
Hugging Face Blog999d agoReleaseHugging Face 宣布與騰訊 ARC 實驗室合作，將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet，T2I-Adapter 僅有約 79M 參數，能在不犧牲生成品質的前提下，大幅降低顯示記憶體（VRAM）佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖（Sketch）、深度圖（Depth）等多種控制模式，並已整合至 diffusers 函式庫中。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1001d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。
Fine-tuned models now boot in less than one second★ 75
Replicate Blog1001d agoReleaseReplicate 宣布對微調模型的「冷啟動（Cold Boot）」進行重大改進。過去部署微調模型需要數分鐘來啟動新容器，現在透過共享基礎模型並動態載入輕量化的 LoRA 權重，冷啟動時間已縮短至一秒以內。這大幅降低了開發者在使用客製化模型時的延遲與成本。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1006d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
AudioLDM 2, but faster ⚡️★ 75
Hugging Face Blog1008d agoTutorialHugging Face 釋出 AudioLDM 2 的推理加速指南。透過將模型轉為 float16 半精度、將預設的 200 步調度器替換為僅需 25 步的 DPMSolverMultistepScheduler，並結合 PyTorch 2.0 的 torch.compile 技術，開發者可以將音訊生成速度提升數倍，在 GPU 上實現秒級的文字轉語音與音樂生成。
Code Llama: Llama 2 learns to code★ 85
Hugging Face Blog1013d agoReleaseMeta 正式發布專為程式碼任務設計的開源模型 Code Llama，提供 7B、13B 與 34B 三種尺寸，並包含 Python 專用版與指令微調版。該模型支援高達 100k 的上下文視窗，在多項程式碼基準測試中表現優異。Hugging Face 已同步支援該系列模型的推理、部署與微調。
Making LLMs lighter with AutoGPTQ and transformers★ 85
Hugging Face Blog1015d agoReleaseHugging Face 正式將 AutoGPTQ 整合進 transformers 生態系，支援直接載入與運行 4-bit GPTQ 量化模型。此更新大幅降低了 LLM 的 GPU 記憶體門檻（如 70B 模型可在單張消費級 GPU 運行），並提供極佳的推理加速。開發者只需簡單修改程式碼即可啟用，並能無縫使用 Hub 上數千個現成的 GPTQ 模型。
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model★ 78
Hugging Face Blog1016d agoReleaseHugging Face 發表開源多模態視覺語言模型 IDEFICS，旨在重現 DeepMind 閉源模型 Flamingo 的強大功能。該模型基於 LLaMA 與 OpenCLIP 構建，提供 9B 與 80B 兩種參數版本，能同時處理交錯的文本與圖片輸入。IDEFICS 的開源為社群提供了強大的多模態研究基礎，並同步釋出了大規模數據集 OBELICS。
Introducing SafeCoder★ 75
Hugging Face Blog1016d agoReleaseHugging Face 宣布推出 SafeCoder，這是一套專為企業打造的程式碼寫作助手解決方案。SafeCoder 主打高度隱私與合規性，允許企業在自有的 VPC 或本地環境中部署，並能使用私有程式碼庫進行微調。該方案基於開源的 StarCoder 模型，旨在為企業提供一個可完全掌控、安全且不洩漏敏感資料的 GitHub Copilot 替代方案。
Painting with words: a history of text-to-image AI
Replicate Blog1016d agoCommentary本文回顧了文字生成圖像（Text-to-Image）技術的演進歷程。從早期的 GAN 限制，到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮，再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出，開源社群與微調技術正以前所未有的速度重塑視覺創作。
We're cutting our prices in half★ 75
Replicate Blog1022d agoBusinessAI 託管平台 Replicate 宣布重大計費調整：所有公開模型（如 Llama、Stable Diffusion 等）的 API 呼叫價格直接減半（降價 50%）。與此同時，為了平衡伺服器資源成本，未來將開始對新用戶的私有模型（Private Models）在設定（冷啟動）與閒置（Idle）時間進行計費。這項調整旨在降低開源模型使用門檻，同時優化專屬資源的利用率。
Hugging Face Hub on the AWS Marketplace: Pay with your AWS Account
Hugging Face Blog1028d agoReleaseHugging Face 宣布其 Hub 服務正式登陸 AWS Marketplace。企業客戶現在可以直接使用現有的 AWS 帳戶訂閱與支付 Hugging Face 的服務（如 Enterprise Hub）。這項合作簡化了企業的採購與財務審批流程，並允許企業利用現有的 AWS 承諾消費（Commitments）來抵扣 Hugging Face 的費用，加速企業級 AI 應用的落地。
Optimizing Bark using 🤗 Transformers★ 75
Hugging Face Blog1029d agoTutorialBark 是 Suno 推出基於 Transformer 的文字轉語音（TTS）與音訊生成模型。由於其包含多個子模型，推理時極耗資源。本文詳細說明如何透過 Hugging Face Transformers 整合的優化技術，包括啟用半精度（fp16）、智慧 CPU 卸載（CPU Offloading）、PyTorch 2.0 的 SDPA（縮放點積注意力）以及 `torch.compile`，在不犧牲音質的前提下，將 VRAM 佔用降低 50% 以上，並顯著提升生成速度。
Open-sourcing Knowledge Distillation Code and Weights of SD-Small and SD-Tiny★ 70
Hugging Face Blog1037d agoReleaseHugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small（約 5.11 億參數）與 SD-Tiny（約 3.23 億參數）的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數，這些模型在保留高圖像質量的同時，實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻，也讓開發者能自行蒸餾客製化的 SD 模型。
Stable Diffusion XL on Mac with Advanced Core ML Quantization★ 72
Hugging Face Blog1042d agoReleaseHugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術（如 6-bit 與 8-bit 量化），成功將龐大的 SDXL 模型體積縮減，使其能在 Apple Silicon（M1/M2 系列晶片）的 Mac 上流暢運行，顯著降低記憶體需求，並充分釋放 Apple 神經網路引擎（ANE）的硬體效能。
AI Policy @🤗: Open ML Considerations in the EU AI Act★ 72
Hugging Face Blog1045d agoOpinion隨著歐盟《AI 法案》進入立法關鍵期，Hugging Face 發表政策倡議，探討法案對開源機器學習（Open ML）的潛在衝擊。文章強調開源在提升 AI 安全性與透明度上的關鍵作用，呼籲立法者應區分商業部署與非商業研究，避免對開源開發者與託管平台施加不切實際的合規負擔，以維護歐洲的創新活力。
Happy 1st anniversary 🤗 Diffusers!
Hugging Face Blog1049d agoReleaseHugging Face 慶祝旗下核心開源庫 Diffusers 推出一週年。在過去一年中，Diffusers 憑藉直覺的 API 設計，成功降低了 Stable Diffusion 等擴散模型的技術門檻。該庫不僅支援了 ControlNet、LoRA 等多種前沿技術，還透過記憶體優化與硬體加速，讓生成式 AI 走入消費級硬體，成為開源 AI 生態系中不可或缺的基石。
Open-Source Text Generation & LLM Ecosystem at Hugging Face★ 85
Hugging Face Blog1052d agoRelease本文系統性介紹 Hugging Face 的開源 LLM 生態系。核心組件包括用於模型載入與推理的 Transformers、實現高效微調的 PEFT、專為高並發部署設計的 Text Generation Inference (TGI)，以及支援對齊演算法（如 SFT、DPO）的 TRL。透過這些工具的協同效應，開發者可以低成本、高效地完成從模型選型、微調到生產線部署的全流程。
Building an AI WebTV
Hugging Face Blog1052d agoTutorialHugging Face 分享了建立「AI WebTV」的實戰指南。該專案整合了多種開源 AI 技術：利用 LLM 自動生成劇本、透過 Stable Diffusion 產生視覺畫面，並結合 TTS 語音合成技術。最後，利用 FFmpeg 將這些素材即時融合成影片串流，部署於 Hugging Face Spaces 並可同步直播至 Twitch 等平台，展示了多模態 AI 工作流的強大整合能力。
Fine-tuning Stable Diffusion models on Intel CPUs
Hugging Face Blog1055d agoTutorialHugging Face 介紹了如何在 Intel CPU 上微調 Stable Diffusion。透過 Intel Extension for PyTorch (IPEX) 與 Optimum Intel 庫，開發者可利用第四代 Xeon 處理器的 AMX 技術進行 BF16 混合精度訓練。這為缺乏 GPU 資源或想利用現有 CPU 伺服器的團隊，提供了一個高性價比的微調方案。
Making ML-powered web games with Transformers.js★ 75
Hugging Face Blog1064d agoTutorial本文探討如何使用 Hugging Face 的 Transformers.js 庫，直接在瀏覽器中運行機器學習模型來開發網頁遊戲。透過 ONNX Runtime Web 與 WebGPU 加速，開發者能實現語音控制、智慧 NPC 對話及視覺辨識等功能。這種客戶端運算模式不僅能實現零伺服器成本，還能保障玩家隱私並降低網路延遲。
Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1065d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
Making a web app generator with open ML models
Hugging Face Blog1066d agoTutorialHugging Face 介紹了如何使用開源程式碼模型（如 StarCoder）構建「文字轉網頁應用（Text-to-Web-App）」產生器。文章詳細說明了系統架構，包括如何透過 Prompt 工程引導模型輸出包含 HTML、Tailwind CSS 與 JavaScript 的單一網頁檔案。此專案展示了開源模型在快速原型設計與程式碼生成上的強大潛力，並提供了在 Hugging Face Spaces 上的實作範例。
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
Hugging Face Blog1073d agoCommentary本期 Hugging Face 倫理與社會電子報聚焦於文字生成圖像（Text-to-Image）模型的偏見。文章指出，這些模型在生成職業、社會角色等圖像時，常顯露出嚴重的性別與種族刻板印象。這源於訓練數據中不均衡的代表性，Hugging Face 呼籲社群透過開發評估工具與推動數據透明化來共同應對此挑戰。
What's going on with the Open LLM Leaderboard?★ 75
Hugging Face Blog1076d agoCommentary本文探討 Hugging Face Open LLM 排行榜上模型分數（特別是 MMLU）與官方論文宣稱不一致的原因。Hugging Face 指出，評測對 Prompt 格式、Few-shot 設定及 Token 機率計算方式極為敏感。為了確保公平與可重複性，排行榜統一採用 EleutherAI 的 lm-evaluation-harness，呼籲社群建立標準化評測規範。