Eval-driven development: Build better AI faster★ 80
Vercel Changelog594d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Fixing Gradient Accumulation★ 85
Hugging Face Blog595d agoTutorial在微調 LLM 時，梯度累積（Gradient Accumulation）常被用來模擬大 Batch Size。然而，Hugging Face 指出，當訓練樣本長度不一時，傳統「直接除以累積步數」的作法會導致數學上的權重偏差。這篇技術部落格詳細解釋了此問題，並介紹了在 Hugging Face Trainer 中引入的全新修正機制，確保梯度累積與真實大 Batch Size 的訓練結果完全一致。
A Security Review of Gradio 5★ 80
Hugging Face Blog601d agoReleaseHugging Face 委託專業安全公司 Trail of Bits 對 Gradio 5 進行全面安全性審計。本次更新修復了包括任意檔案讀取（LFI）與伺服器端請求偽造（SSRF）等潛在漏洞，並重新設計了檔案存取架構。新版本採取「預設安全」策略，大幅降低開發者在部署 AI 互動介面時面臨的安全風險。
FLUX is fast and it's open source★ 72
Replicate Blog601d agoReleaseReplicate 平台上的 FLUX 模型現在運行速度顯著加快。官方不僅提升了推論效能，還將這些優化技術與程式碼完全開源，讓開發者可以深入了解其運作原理，並能在此基礎上進行二次開發與自定義部署。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog601d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Scaling AI-based Data Processing with Hugging Face + Dask★ 72
Hugging Face Blog602d agoTutorial本文探討如何整合 Hugging Face 生態系統與分散式運算框架 Dask。透過 Dask 的平行運算能力，開發者可以突破單機記憶體限制，高效處理海量文本、圖像等 AI 訓練資料。此整合方案不僅加速了大規模資料的預處理與 Tokenization，還能顯著提升分散式模型推論的效率，是處理大規模 AI 工作負載的關鍵技術。
Welcome, Gradio 5★ 85
Hugging Face Blog602d agoReleaseHugging Face 推出 Gradio 5 重大更新，全面提升效能與安全性。此版本經過專業安全團隊 Trail of Bits 審計，預設啟用多項安全防護；同時引入伺服器端渲染（SSR），大幅縮短首頁載入時間並提升 SEO。此外，新版也優化了多模態 Chatbot 組件，讓開發者能更輕鬆地打造生產級的 AI 互動介面。
Faster Assisted Generation with Dynamic Speculation★ 75
Hugging Face Blog603d agoReleaseHugging Face 介紹了在 transformers 庫中實現的「動態投機（Dynamic Speculation）」技術。傳統的輔助生成（Assisted Generation）使用固定長度的草稿 Token 進行驗證，而動態投機則會根據草稿模型的即時接受率，動態調整預測長度（K 值）。這項改進能在不犧牲生成品質的前提下，顯著減少不必要的計算並提升推理速度，讓開發者更輕鬆地優化 LLM 部署。
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Blog606d agoReleaseHugging Face Hub 宣布改進其自動 Parquet 轉換管線的去重（Deduplication）機制。過去更新資料集時常會觸發重複的 Parquet 檔案生成，造成儲存與運算浪費。新機制透過內容雜湊（Content Hashing）精確識別未變更的資料，直接重用已生成的 Parquet 檔案，從而加速資料集載入、降低 Hub 儲存成本，並提升開發者更新資料集的效率。
Introducing the Open FinLLM Leaderboard★ 75
Hugging Face Blog607d agoReleaseHugging Face 宣布推出「Open FinLLM Leaderboard」，這是一個專為金融領域大語言模型（FinLLMs）設計的開源評測排行榜。該排行榜旨在解決通用評測基準無法準確反映金融專業能力的問題，透過多維度的金融數據集（如情感分析、關係抽取、金融問答等）來評估模型。這為金融機構與研究人員在選擇、微調和部署金融 AI 模型時，提供了一個透明且標準化的參考依據。
A Short Summary of Chinese AI Global Expansion★ 75
Hugging Face Blog608d agoCommentary隨著 Qwen、DeepSeek、Yi 等中國開源模型在 Hugging Face 排行榜上名列前茅，中國 AI 勢力正加速全球擴張。這些模型憑藉強大的多語言能力、數學與程式碼推理性能，以及極高的性價比，成為全球開發者在 Llama 之外的重要選擇。本文總結了中國 AI 透過開源生態系打破地理限制、走向國際的關鍵策略與面臨的挑戰。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog610d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
Converting Vertex-Colored Meshes to Textured Meshes★ 75
Hugging Face Blog611d agoTutorial許多 3D 生成 AI 模型輸出的網格採用「頂點著色」技術，這在傳統遊戲引擎（如 Unity、Unreal）中難以高效使用。Hugging Face 發布技術指南，詳細說明如何透過自動化工具進行 UV 拆解（UV Unwrapping）與紋理烘焙（Texture Baking），將其轉換為標準的紋理貼圖網格（Textured Mesh），大幅提升 3D AI 生成資產的實用性。
Llama can now see and run on your device - welcome Llama 3.2★ 95
Hugging Face Blog616d agoReleaseMeta 正式發布 Llama 3.2，最大亮點為首次推出 11B 和 90B 的視覺多模態模型，能理解圖像與圖表；同時推出專為手機與邊緣裝置設計的 1B 和 3B 超輕量文字模型，支援 128k 脈絡長度。Hugging Face 已在 Transformers、TGI 及微調工具中全面支援，方便開發者即刻部署與應用。
Exploring the Daily Papers Page on Hugging Face★ 70
Hugging Face Blog618d agoTutorialHugging Face 的 Daily Papers 頁面已成為 AI 社群追蹤最新研究的重要樞紐。本文介紹該功能如何運作，包含每日精選論文、社群討論機制，以及如何將論文與 Hugging Face 上的模型、數據集和 Spaces 進行連結。這對於想要緊跟 AI 前沿技術的開發者與研究人員來說，是不可或缺的工具。
FineVideo: behind the scenes★ 75
Hugging Face Blog618d agoReleaseHugging Face 釋出全新開源影片資料集「FineVideo」的幕後製作過程。為了解決高品質影片數據稀缺的問題，該項目收錄了超過 4.3 萬部影片（約 3,400 小時），並提供高達 120 萬個詳細的影片與文字配對。文章深入探討了其自動化清理、場景分割與多模態模型標註的管線（Pipeline）設計，旨在為社群提供訓練下一代影片理解與生成模型（Video-LLM）的標準基石。
Optimize and deploy with Optimum-Intel and OpenVINO GenAI★ 75
Hugging Face Blog621d agoTutorial本文介紹 Hugging Face 與 Intel 合作的最新部署方案。透過 optimum-intel 工具，開發者可以輕鬆將 Transformers 模型轉換並量化（如 INT4）為 OpenVINO 格式。接著，利用全新且輕量化的 openvino-genai API，即可在 Intel CPU、GPU 及 NPU 上實現極速的生成式 AI 推理，大幅簡化了從模型訓練到邊緣端部署的流程。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog623d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Introducing the SQL Console on Datasets
Hugging Face Blog624d agoNew ToolHugging Face 宣布在 Datasets 頁面中整合 SQL 控制台功能。用戶無需下載數據集或編寫 Python 程式碼，即可直接在瀏覽器中使用標準 SQL（基於 DuckDB）進行高效的數據查詢、篩選與聚合。這項功能大幅降低了數據集探索的門檻，並提升了數據分析的效率。
Introducing Community Tools on HuggingChat★ 75
Hugging Face Blog625d agoReleaseHugging Face 宣布在 HuggingChat 中推出「社群工具 (Community Tools)」功能。這項更新讓 HuggingChat 上的開源模型（如 Llama 3.1、Command R+）能夠調用由社群開發的各種工具，例如圖像生成、網頁抓取、計算機等。開發者可以使用 Python 輕鬆建立並分享工具，使開源 AI 助理具備更強大的 Agent 實用能力。
Accelerate 1.0.0★ 80
Hugging Face Blog628d agoReleaseHugging Face 旗下熱門的分散式訓練工具庫 Accelerate 正式迎來 1.0.0 版本。此版本標誌著 API 的全面穩定與成熟，大幅優化了 PyTorch FSDP 和 DeepSpeed 的整合，並提升了大模型推理（Big Model Inference）的資源調配效率。對於需要跨 GPU/TPU 進行模型微調或部署的開發者與研究人員而言，這是一次關鍵的重大升級。
Hugging Face partners with TruffleHog to Scan for Secrets★ 70
Hugging Face Blog637d agoReleaseHugging Face 與開源安全掃描工具 TruffleHog 的開發商 Truffle Security 達成合作。此項合作旨在自動掃描 Hugging Face 平台上的所有儲存庫（包括模型、數據集和 Spaces），以偵測並清除不小心上傳的敏感憑證與 API 金鑰。這項主動防禦機制將大幅提升 AI 開源社群的資安防護水準，避免開發者因疏忽而造成重大損失。
Scaling robotics datasets with video encoding★ 70
Hugging Face Blog645d agoTutorial機器人學習（如模仿學習）需要大量的多視角相機數據，傳統以獨立圖片儲存會導致硬碟與網路傳輸極大負擔。Hugging Face 團隊分享了如何透過影片編碼（如 H.264/MP4）與優化關鍵影格（GOP）設定，在維持高訓練讀取效能的前提下，將數據集體積壓縮 10 到 50 倍，並整合至 LeRobot 生態系中。
The 5 Most Under-Rated Tools on Hugging Face★ 75
Hugging Face Blog650d agoTutorialHugging Face 官方部落格盤點了 5 個被低估的「幕後英雄」工具。這些工具能解決開發者在處理 AI 模型與資料集時的痛點，包括支援多線程與斷點續傳的 huggingface-cli、免費測試 15 萬個模型的 Serverless 推論 API、免下載即可用 SQL 查詢的 Dataset Viewer、完全在瀏覽器運行的 Gradio-lite，以及兼顧安全與極速載入的 safetensors 格式。這些工具能顯著優化 AI 開發工作流。
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2★ 80
Hugging Face Blog651d agoTutorial在 LLM 訓練中，傳統的 Padding 會浪費大量算力。Hugging Face 介紹了結合 Flash Attention 2 的 Packing（序列打包）技術，將多個短樣本拼接成固定長度，並利用 FA2 的變長注意力（varlen）避免樣本間干擾。這項優化能顯著提升訓練吞吐量並降低顯存佔用，已整合至 TRL 等工具中。
Deploy Meta Llama 3.1 405B on Google Cloud Vertex AI★ 75
Hugging Face Blog653d agoReleaseHugging Face 推出全新整合功能，允許用戶將 Meta 的 Llama 3.1 405B 模型直接部署至 Google Cloud Vertex AI。此舉簡化了超大型開源模型的企業級部署流程，提供高擴展性與安全性。開發者可透過 Hugging Face Hub 或 Vertex AI Model Garden 輕鬆啟用，並利用 Google Cloud 的強大算力（如 H100 GPU 或 TPU）進行高效推理。
Replicate Intelligence #11★ 75
Replicate Blog656d agoReleaseReplicate 發布第 11 期技術週報，重點介紹開源影像生成模型 FLUX.1 的微調方法，讓開發者能以低成本訓練專屬風格。同時探討了「生成式電子遊戲」的最新進展，展示 AI 如何即時生成遊戲畫面與互動內容。最後，文章展望了生成式 AI 結合 3D 技術，為未來元宇宙與虛擬空間帶來的全新創作範式。
A failed experiment: Infini-Attention, and why we should keep trying?★ 75
Hugging Face Blog658d agoCommentaryGoogle 提出的 Infini-Attention 曾承諾能實現無限長度上下文，但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示，該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失，在精確檢索任務（如大海撈針）中表現不佳，且訓練過程極不穩定。儘管這是一次失敗的嘗試，但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。
Introduction to ggml★ 80
Hugging Face Blog659d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
Tool Use, Unified★ 85
Hugging Face Blog660d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。