SDXL in 4 steps with Latent Consistency LoRAs★ 85
Hugging Face Blog937d agoReleaseHugging Face 與 LCM 團隊合作推出 LCM-LoRA，這是一種通用的低秩自適應（LoRA）蒸餾技術。它能將 SDXL 等擴散模型的推理步數縮減至 4 步，同時保持極佳的影像品質。最重要的是，它能直接套用於現有的任何 SDXL 微調模型與 LoRA，無需重新訓練，為即時圖像生成帶來突破。
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora★ 75
Hugging Face Blog939d agoTutorialHugging Face 釋出技術指南，比較 RoBERTa、Llama 2 與 Mistral 7B 在「災難推特分類」任務上的表現。 透過 LoRA（低秩適應）技術，詳細分析了傳統編碼器模型與現代生成式大模型在分類精準度、訓練時間與硬體資源（VRAM）上的折衷。 結果顯示，雖然 7B 模型具備強大理解力，但較小的 RoBERTa 在特定分類任務上依然展現出極高的成本效益與競爭力。
Make your llama generation time fly with AWS Inferentia2★ 72
Hugging Face Blog939d agoTutorialHugging Face 介紹如何使用 AWS Inferentia2（Inf2 執行個體）來加速 Llama 2 模型的推理。透過 Optimum Neuron 整合庫，開發者可以輕鬆將 Llama 2 編譯並部署至 AWS 自研晶片上。這不僅能顯著提升文字生成速度（降低延遲），還能大幅降低雲端部署的硬體成本，是 NVIDIA GPU 之外的高性價比替代方案。
Introducing Prodigy-HF: a direct integration with Hugging Face
Hugging Face Blog939d agoNew Tool知名資料標註工具 Prodigy 宣布推出官方整合套件 prodigy-hf，實現與 Hugging Face Hub 的雙向無縫對接。開發者現在可以直接從 Hugging Face 載入資料集進行標註，並在完成後一鍵推送回 Hub。此外，該整合還支援利用 Hugging Face 的預訓練模型進行輔助標註與主動學習，大幅提升 NLP 與電腦視覺任務的標註效率。
Introducing Storage Regions on the HF Hub★ 70
Hugging Face Blog943d agoReleaseHugging Face 宣布在 Hub 上推出「儲存區域（Storage Regions）」功能。此功能允許組織與企業用戶指定其模型、數據集和 Spaces 的物理儲存位置（例如歐洲或美國）。這對於有嚴格數據主權、隱私合規（如歐盟 GDPR）要求的企業來說是一大重要更新，同時也能優化在地化存取的延遲。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog952d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Interactively explore your Huggingface dataset with one line of code
Hugging Face Blog952d agoNew ToolHugging Face 介紹了如何利用開源工具 Renumics Spotlight，僅需一行程式碼即可對 Hugging Face Datasets 進行互動式探索。此功能支援文本、圖像、音訊等多模態數據，並能視覺化高維度嵌入（embeddings），幫助開發者快速找出標籤錯誤、數據偏誤或異常值，大幅提升數據整理（Data Curation）與模型除錯的效率。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog953d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog953d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Gradio-Lite: Serverless Gradio Running Entirely in Your Browser★ 75
Hugging Face Blog958d agoReleaseHugging Face 發表 Gradio-Lite，這是一項基於 Pyodide (WASM) 的新技術，允許開發者直接在瀏覽器中運行 Gradio 應用，無需配置 Python 後端伺服器。這不僅能大幅降低託管成本，還能確保使用者數據完全留在本地，提升隱私安全性。雖然有初始載入時間較長與庫支援限制，但非常適合輕量級應用與靜態網頁部署。
How to use retrieval augmented generation with ChromaDB and Mistral
Replicate Blog960d agoTutorial這是一篇由 Replicate 釋出的實用教學，指導開發者如何建構檢索增強生成（RAG）系統。文章詳細說明了如何使用 bge-large-en 模型生成文本嵌入向量，並將其儲存於 ChromaDB 向量資料庫中。最後，透過部署在 Replicate 上的 Mistral-7B-Instruct 模型，根據檢索到的上下文生成精確的回答。
Fine-tune MusicGen to generate music in any style
Replicate Blog964d agoNew ToolAI 雲端運行平台 Replicate 宣布支援 Meta MusicGen 音樂生成模型的微調（Fine-tuning）功能。使用者現在可以使用自己的音訊檔案，在 Replicate 上訓練 MusicGen 的 small、medium 和 melody 版本，藉此生成特定風格或旋律的音樂，為音樂創作者與開發者提供高度客製化的音訊生成方案。
Jet-setting with Llama 2 + Grammars★ 75
Replicate Blog968d agoTutorialReplicate 介紹了如何將 Llama 2 模型與 Grammar（語法約束）結合，用於高精度的資訊萃取任務。透過定義 GBNF 語法，開發者可以強制 LLM 輸出完全符合特定格式（如 JSON）的內容，解決傳統 LLM 輸出格式不穩定、容易幻覺的問題。本文以旅遊規劃（Jet-setting）為例，展示如何從日常對話中精準提取出發地、目的地與日期等結構化數據。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog973d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Chat Templates: An End to the Silent Performance Killer★ 85
Hugging Face Blog974d agoRelease在開發 LLM 對話應用時，不同模型（如 LLaMA、Vicuna）要求不同的特殊標記與格式。過去手動拼接字串極易出錯，微小的空格或換行差異都會嚴重影響模型輸出品質。Hugging Face 推出「Chat Templates」功能，將格式化邏輯以 Jinja 模板儲存於 tokenizer 設定中，開發者只需調用 `apply_chat_template()` 即可自動套用正確格式，徹底解決此痛點。
🧨 Accelerating Stable Diffusion XL Inference with JAX on Cloud TPU v5e★ 70
Hugging Face Blog974d agoTutorialHugging Face 發表技術指南，展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯（JIT）與 Diffusers 庫的 Flax 支援，開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試，為尋求 GPU 替代方案的團隊提供高效能選擇。
Ethics and Society Newsletter #5: Hugging Face Goes To Washington and Other Summer 2023 Musings
Hugging Face Blog978d agoCommentaryHugging Face 發布 2023 夏季倫理與社會簡報，重點介紹其團隊前往華盛頓特區向美國國會倡導開源 AI 與開放科學價值的經歷。簡報同時涵蓋了 AI 問責制、歐盟 AI 法案的政策回應，以及在模型卡片（Model Cards）、資料集透明度與環境影響評估等技術倫理工具上的最新研究進展。
Finetune Stable Diffusion Models with DDPO via TRL★ 75
Hugging Face Blog978d agoReleaseHugging Face 宣布在其 TRL（Transformer Reinforcement Learning）庫中支援 DDPO（去噪擴散策略優化）演算法。這項更新允許開發者與研究人員使用強化學習（RL）來微調 Stable Diffusion 等擴散模型。透過自訂的獎勵函數（如美學評分或提示詞對齊度），DDPO 能有效引導模型生成更符合特定目標的圖像，解決了傳統監督式微調難以優化複雜指標的痛點。
Llama 2 on Amazon SageMaker a Benchmark
Hugging Face Blog981d agoTutorialHugging Face 針對 Llama 2 (7B、13B、70B) 在 Amazon SageMaker 上的部署進行了全面的效能基準測試。測試涵蓋了多種 AWS g5 與 p4 實例，評估指標包括首字延遲 (TTFT)、吞吐量 (tokens/sec) 與成本。這份指南能幫助開發者在部署開源大模型時，在效能與雲端預算之間取得最佳平衡。
Inference for PROs★ 70
Hugging Face Blog985d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。
Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face Blog988d agoBusiness個人理財應用 Rocket Money 面臨交易分類模型流量劇烈波動的挑戰。透過導入 Hugging Face Inference Endpoints，他們實現了自動彈性伸縮（Auto-scaling），不僅大幅降低基礎設施成本，還簡化了部署流程，讓數據科學團隊無需依賴繁重的 DevOps 即可快速將模型推向生產環境，同時保持極低的延遲。
Introduction to 3D Gaussian Splatting★ 85
Hugging Face Blog989d agoTutorialHugging Face 釋出 3D Gaussian Splatting (3DGS) 的技術入門指南。3DGS 是 3D 重建領域的革命性技術，透過將稀疏點雲轉化為數百萬個 3D 高斯橢圓體，實現了超越 NeRF 的即時渲染速度（100+ FPS）與極短的訓練時間。本文詳細解析其運作原理，並介紹如何在 Hugging Face 平台上整合與展示 3DGS 成果。
Object Detection Leaderboard
Hugging Face Blog989d agoNew ToolHugging Face 宣布推出「物件偵測排行榜」（Object Detection Leaderboard），旨在為電腦視覺社群提供一個公開、透明的平台，用以評估和比較各種物件偵測模型。該排行榜主要基於 COCO 數據集進行評估，涵蓋了從傳統的 CNN 架構（如 YOLO）到新興的 Transformer 架構（如 DETR）等多種模型。用戶可以直接提交託管在 Hugging Face Hub 上的模型進行評測，比較其精準度（mAP）與參數量等關鍵指標。
Optimizing your LLM in production★ 85
Hugging Face Blog992d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。
Fine-tuning Llama 2 70B using PyTorch FSDP★ 72
Hugging Face Blog994d agoTutorial微調 Llama 2 70B 等超大型模型時，開發者常因多進程重複載入模型而面臨 CPU 記憶體崩潰（OOM）的困境。本文介紹如何結合 PyTorch FSDP（完全分片數據並行）與 Hugging Face Accelerate 的延遲初始化與分片載入技術，在有限的硬體資源下實現記憶體高效的微調流程，大幅降低大模型訓練的門檻。
Introducing Würstchen: Fast Diffusion for Image Generation★ 75
Hugging Face Blog994d agoReleaseHugging Face 介紹了新型圖像生成模型 Würstchen，其核心在於創新的三階段架構，能將潛在空間壓縮高達 42 倍。這使得它在生成速度和訓練成本上遠優於傳統的 Stable Diffusion，同時保持優異的視覺品質。目前該模型已整合至 Diffusers 函式庫中，適合硬體資源有限的開發者與研究人員。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog995d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
SafeCoder vs. Closed-source Code Assistants★ 70
Hugging Face Blog996d agoReleaseHugging Face 推出針對企業設計的 SafeCoder 程式碼助手，旨在解決使用 GitHub Copilot 等閉源工具時的隱私與智慧財產權疑慮。SafeCoder 基於開源的 StarCoder 模型，支援在企業內部的 VPC 或地端環境部署，並允許企業使用私有程式碼進行微調。這項方案不僅確保程式碼不外流，還能提供高度客製化的開發輔助體驗。
Efficient Controllable Generation for SDXL with T2I-Adapters★ 70
Hugging Face Blog999d agoReleaseHugging Face 宣布與騰訊 ARC 實驗室合作，將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet，T2I-Adapter 僅有約 79M 參數，能在不犧牲生成品質的前提下，大幅降低顯示記憶體（VRAM）佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖（Sketch）、深度圖（Depth）等多種控制模式，並已整合至 diffusers 函式庫中。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1001d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。