Open LLM Leaderboard: DROP deep dive★ 75
Hugging Face Blog915d agoCommentaryHugging Face 針對 Open LLM 排行榜中的 DROP（離散推理）基準測試進行深度剖析。調查發現，許多開源模型之所以獲得異常高分，並非因為推理能力超越 GPT-4，而是源於對評估格式的過度擬合（Overfitting）或資料污染（Contamination）。為此，官方調整了評估與解析機制，使評分回歸真實水平，並呼籲社群建立更嚴謹的評估標準。
How to run Yi chat models with an API
Replicate Blog923d agoTutorialYi 系列模型是由「零一萬物 (01.AI)」從頭訓練的大型語言模型，在多項基準測試中表現優異。Replicate 平台已託管 Yi 模型，開發者無需自行配置與維護昂貴的 GPU 基礎設施，即可透過 API 進行調用。本文介紹如何使用 Replicate 的 Python SDK，僅需一行程式碼便能輕鬆在雲端運行 Yi-34B-Chat 等模型，並支援串流輸出。
Scaffold Replicate apps with one command
Replicate Blog924d agoNew ToolReplicate 宣布推出全新的 CLI 腳手架（Scaffold）指令，旨在簡化開發者整合 AI 模型的起步流程。開發者現在只需執行單一指令，即可自動建立包含 Replicate API 整合的專案範本。這項更新大幅降低了開發 AI 應用的前期配置時間，非常適合想要快速驗證概念（PoC）或建立原型（Prototype）的開發者。
Using open-source models for faster and cheaper text embeddings
Replicate Blog936d agoTutorialReplicate 發表指南，展示如何在其平台上運行開源的 BGE (BAAI General Embedding) 模型。相較於當時 OpenAI 的 Embedding API，BGE 模型在 MTEB 排行榜上表現優異，且在 Replicate 上運行能提供更低的延遲與更便宜的價格，非常適合需要大量處理文字向量化與建置 RAG 系統的開發者。
Generate music from chord progressions and text prompts with MusicGen-Chord
Replicate Blog938d agoReleaseReplicate 為 Meta 的 MusicGen 模型新增了「和弦制約（chord conditioning）」功能，推出 MusicGen-Chord。使用者現在可以同時輸入文字提示詞與特定的和弦進行（chord progressions），藉此自動生成符合特定音樂風格與和弦結構的背景伴奏軌（backing tracks），大幅提升 AI 音樂創作的控制度。
Introducing Prodigy-HF: a direct integration with Hugging Face
Hugging Face Blog939d agoNew Tool知名資料標註工具 Prodigy 宣布推出官方整合套件 prodigy-hf，實現與 Hugging Face Hub 的雙向無縫對接。開發者現在可以直接從 Hugging Face 載入資料集進行標註，並在完成後一鍵推送回 Hub。此外，該整合還支援利用 Hugging Face 的預訓練模型進行輔助標註與主動學習，大幅提升 NLP 與電腦視覺任務的標註效率。
Personal Copilot: Train Your Own Coding Assistant★ 75
Hugging Face Blog950d agoTutorialHugging Face 發布實用教學，指導開發者如何利用開源程式碼模型（如 StarCoder）微調出專屬的 Personal Copilot。透過 peft 的 LoRA 技術與 trl 庫，開發者可以用極低的硬體成本，在個人程式碼庫上進行微調。最後，教學展示了如何將微調後的模型部署至 Inference Endpoints，並無縫整合進 VS Code 編輯器中。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog952d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Deploy Embedding Models with Hugging Face Inference Endpoints★ 75
Hugging Face Blog953d agoReleaseHugging Face 宣布其 Inference Endpoints 正式支援高效部署嵌入模型（Embedding Models）。此服務整合了 Text Embeddings Inference (TEI) 技術，提供極低的延遲、動態批處理與高吞吐量。開發者只需幾鍵即可在專屬雲端基礎設施（如 AWS 或 Azure）上部署開源嵌入模型，極大簡化了 RAG（檢索增強生成）與向量搜尋系統的建置流程。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog953d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Exploring simple optimizations for SDXL★ 75
Hugging Face Blog953d agoTutorial本文介紹了針對 Stable Diffusion XL (SDXL) 的多項實用推論優化技術。透過 Hugging Face 的 Diffusers 函式庫，開發者可以輕鬆啟用 PyTorch 2.0 的 `torch.compile()`、記憶體高效注意力機制（SDPA）、CPU 卸載（CPU Offloading）以及 VAE 分片與平鋪技術。這些方法能在不犧牲影像品質的前提下，顯著縮短生成時間並降低 GPU 顯示記憶體（VRAM）的需求，讓消費級顯示卡也能流暢運行。
Fine-tune MusicGen to generate music in any style
Replicate Blog964d agoNew ToolAI 雲端運行平台 Replicate 宣布支援 Meta MusicGen 音樂生成模型的微調（Fine-tuning）功能。使用者現在可以使用自己的音訊檔案，在 Replicate 上訓練 MusicGen 的 small、medium 和 melody 版本，藉此生成特定風格或旋律的音樂，為音樂創作者與開發者提供高度客製化的音訊生成方案。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog973d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Chat Templates: An End to the Silent Performance Killer★ 85
Hugging Face Blog974d agoRelease在開發 LLM 對話應用時，不同模型（如 LLaMA、Vicuna）要求不同的特殊標記與格式。過去手動拼接字串極易出錯，微小的空格或換行差異都會嚴重影響模型輸出品質。Hugging Face 推出「Chat Templates」功能，將格式化邏輯以 Jinja 模板儲存於 tokenizer 設定中，開發者只需調用 `apply_chat_template()` 即可自動套用正確格式，徹底解決此痛點。
Deploying the AI Comic Factory using the Inference API
Hugging Face Blog975d agoTutorialHugging Face 官方發布指南，教導開發者如何部署熱門的開源專案「AI Comic Factory」。由於公共版本常因高流量需要排隊，使用者可以透過 Hugging Face Inference API 或專屬的 Inference Endpoints，配置自己的 LLM 與 SDXL 圖像生成服務，低成本打造專屬且流暢的 AI 漫畫創作平台。
Ethics and Society Newsletter #5: Hugging Face Goes To Washington and Other Summer 2023 Musings
Hugging Face Blog978d agoCommentaryHugging Face 發布 2023 夏季倫理與社會簡報，重點介紹其團隊前往華盛頓特區向美國國會倡導開源 AI 與開放科學價值的經歷。簡報同時涵蓋了 AI 問責制、歐盟 AI 法案的政策回應，以及在模型卡片（Model Cards）、資料集透明度與環境影響評估等技術倫理工具上的最新研究進展。
Inference for PROs★ 70
Hugging Face Blog985d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。
Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face Blog988d agoBusiness個人理財應用 Rocket Money 面臨交易分類模型流量劇烈波動的挑戰。透過導入 Hugging Face Inference Endpoints，他們實現了自動彈性伸縮（Auto-scaling），不僅大幅降低基礎設施成本，還簡化了部署流程，讓數據科學團隊無需依賴繁重的 DevOps 即可快速將模型推向生產環境，同時保持極低的延遲。
Optimizing your LLM in production★ 85
Hugging Face Blog992d agoTutorial本指南深入探討如何在實際生產環境中優化大語言模型（LLM）的部署。內容涵蓋降低顯示記憶體（vRAM）佔用的關鍵技術，如 KV 快取、4-bit/8-bit 量化（GPTQ、AWQ）與 FlashAttention；並介紹提升推論吞吐量的進階方法，包括連續批次處理（Continuous Batching）、投機解碼（Speculative Decoding）以及多 GPU 分散式推論。這是一份針對開發者將開源模型落地的必讀實戰手冊。
Introducing Würstchen: Fast Diffusion for Image Generation★ 75
Hugging Face Blog994d agoReleaseHugging Face 介紹了新型圖像生成模型 Würstchen，其核心在於創新的三階段架構，能將潛在空間壓縮高達 42 倍。這使得它在生成速度和訓練成本上遠優於傳統的 Stable Diffusion，同時保持優異的視覺品質。目前該模型已整合至 Diffusers 函式庫中，適合硬體資源有限的開發者與研究人員。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog995d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
SafeCoder vs. Closed-source Code Assistants★ 70
Hugging Face Blog996d agoReleaseHugging Face 推出針對企業設計的 SafeCoder 程式碼助手，旨在解決使用 GitHub Copilot 等閉源工具時的隱私與智慧財產權疑慮。SafeCoder 基於開源的 StarCoder 模型，支援在企業內部的 VPC 或地端環境部署，並允許企業使用私有程式碼進行微調。這項方案不僅確保程式碼不外流，還能提供高度客製化的開發輔助體驗。
Efficient Controllable Generation for SDXL with T2I-Adapters★ 70
Hugging Face Blog999d agoReleaseHugging Face 宣布與騰訊 ARC 實驗室合作，將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet，T2I-Adapter 僅有約 79M 參數，能在不犧牲生成品質的前提下，大幅降低顯示記憶體（VRAM）佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖（Sketch）、深度圖（Depth）等多種控制模式，並已整合至 diffusers 函式庫中。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1001d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。
Fine-tuned models now boot in less than one second★ 75
Replicate Blog1001d agoReleaseReplicate 宣布對微調模型的「冷啟動（Cold Boot）」進行重大改進。過去部署微調模型需要數分鐘來啟動新容器，現在透過共享基礎模型並動態載入輕量化的 LoRA 權重，冷啟動時間已縮短至一秒以內。這大幅降低了開發者在使用客製化模型時的延遲與成本。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1006d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
AudioLDM 2, but faster ⚡️★ 75
Hugging Face Blog1008d agoTutorialHugging Face 釋出 AudioLDM 2 的推理加速指南。透過將模型轉為 float16 半精度、將預設的 200 步調度器替換為僅需 25 步的 DPMSolverMultistepScheduler，並結合 PyTorch 2.0 的 torch.compile 技術，開發者可以將音訊生成速度提升數倍，在 GPU 上實現秒級的文字轉語音與音樂生成。
Code Llama: Llama 2 learns to code★ 85
Hugging Face Blog1013d agoReleaseMeta 正式發布專為程式碼任務設計的開源模型 Code Llama，提供 7B、13B 與 34B 三種尺寸，並包含 Python 專用版與指令微調版。該模型支援高達 100k 的上下文視窗，在多項程式碼基準測試中表現優異。Hugging Face 已同步支援該系列模型的推理、部署與微調。
Making LLMs lighter with AutoGPTQ and transformers★ 85
Hugging Face Blog1015d agoReleaseHugging Face 正式將 AutoGPTQ 整合進 transformers 生態系，支援直接載入與運行 4-bit GPTQ 量化模型。此更新大幅降低了 LLM 的 GPU 記憶體門檻（如 70B 模型可在單張消費級 GPU 運行），並提供極佳的推理加速。開發者只需簡單修改程式碼即可啟用，並能無縫使用 Hub 上數千個現成的 GPTQ 模型。
Introducing SafeCoder★ 75
Hugging Face Blog1016d agoReleaseHugging Face 宣布推出 SafeCoder，這是一套專為企業打造的程式碼寫作助手解決方案。SafeCoder 主打高度隱私與合規性，允許企業在自有的 VPC 或本地環境中部署，並能使用私有程式碼庫進行微調。該方案基於開源的 StarCoder 模型，旨在為企業提供一個可完全掌控、安全且不洩漏敏感資料的 GitHub Copilot 替代方案。