Transformers.js v4: Now Available on NPM!★ 85
Hugging Face Blog113d agoReleaseHugging Face 正式在 NPM 發布 Transformers.js v4。此版本帶來大幅度的 WebGPU 效能提升，支援更多最新的輕量化開源模型（如 Llama 3.2、Qwen 2.5 等），並優化了與 Vite、Next.js 等現代前端工具鏈的整合，讓開發者能輕鬆打造隱私安全、低延遲且完全在用戶端運行的 AI 應用。
Transformers.js v3: WebGPU Support, New Models & Tasks, and More…★ 85
Hugging Face Blog588d agoReleaseHugging Face 正式發布 Transformers.js v3，最大亮點為引進 WebGPU 支援，使瀏覽器端模型推論速度較以往的 CPU/WASM 提升達 100 倍。此版本也將 npm 套件重新命名為 @huggingface/transformers，並新增支援 Llama 3、Gemma、Phi-3 等熱門模型。此外，新版本擴展了語音合成（TTS）與多模態任務，為網頁開發者提供更強大的無伺服器端（Serverless）AI 解決方案。
From cloud to developers: Hugging Face and Microsoft Deepen Collaboration★ 75
Hugging Face Blog742d agoBusinessHugging Face 宣布與微軟深化合作，將其開源模型庫與 Azure AI Studio 進行深度整合。開發者現在可以直接在 Azure 上以無伺服器 API（Model-as-a-Service）形式部署熱門開源模型。此外，雙方也加強了對 Windows AI 本地端運算（如 ONNX Runtime）的支援，全面打通從雲端到邊緣端的開發流程。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog869d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog972d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Making ML-powered web games with Transformers.js★ 75
Hugging Face Blog1063d agoTutorial本文探討如何使用 Hugging Face 的 Transformers.js 庫，直接在瀏覽器中運行機器學習模型來開發網頁遊戲。透過 ONNX Runtime Web 與 WebGPU 加速，開發者能實現語音控制、智慧 NPC 對話及視覺辨識等功能。這種客戶端運算模式不僅能實現零伺服器成本，還能保障玩家隱私並降低網路延遲。
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models★ 75
Hugging Face Blog1225d agoReleaseHugging Face 介紹了 Optimum 庫與 ONNX Runtime (ORT) 的整合，為開發者提供更高效的訓練解決方案。透過將標準的 Trainer 替換為 ORTTrainer，開發者可以輕鬆啟用 ORT 的圖優化與記憶體管理技術。此方案在不犧牲模型精度的前提下，能顯著提升訓練吞吐量（通常可達 20%-40%）並降低 GPU 顯存佔用。
Accelerating Document AI★ 70
Hugging Face Blog1289d agoTutorial本文探討 Hugging Face 在文件 AI（Document AI）領域的加速方案。針對 LayoutLMv3 與免 OCR 的 Donut 等多模態模型，Hugging Face 介紹了如何利用 Optimum 庫、ONNX Runtime 及量化技術，克服多模態模型在生產環境中的高延遲與高成本挑戰，實現高效能的文件自動化處理。
Convert Transformers to ONNX with Hugging Face Optimum
Hugging Face Blog1441d agoTutorial本文介紹 Hugging Face 推出的一站式硬體優化工具包 Optimum，展示如何將 Transformers 模型轉換為 ONNX 格式。透過簡單的 optimum-cli 命令行工具或 Python API，開發者即可完成轉換，並利用 ONNX Runtime 在各種硬體上實現顯著的推理加速與量化優化，解決過去手動轉換繁瑣且易出錯的痛點。
Accelerated Inference with Optimum and Transformers Pipelines★ 75
Hugging Face Blog1484d agoReleaseHugging Face 介紹了如何將硬體優化工具包 Optimum 與受歡迎的 Transformers Pipelines 整合。開發者現在能直接載入 ONNX 格式模型並傳入 Pipeline 中，在 CPU 或 GPU 上實現顯著的延遲降低與吞吐量提升。這項更新免去了手動導出 ONNX 的繁瑣步驟，極大地簡化了生產環境的部署流程。
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face Blog1601d agoNew Tool本案例研究探討了 Hugging Face Infinity 在現代 CPU（如 Intel Xeon）上的效能表現。透過硬體加速與優化技術，Infinity 能在 CPU 上實現單數位毫秒級的推理延遲。這為企業提供了一種高性價比、無需依賴昂貴 GPU 的 Transformer 模型部署選擇，特別適合文本分類與特徵提取等任務。
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face Blog1869d agoTutorial本文為 Hugging Face 與 Intel 合作的 CPU 優化指南首篇。文章深入探討 CPU 物理核心與超線程對深度學習的影響，並詳細說明如何透過正確配置 PyTorch 的 Intra-op/Inter-op 執行緒與環境變數（如 OMP_NUM_THREADS）來避免資源競爭。最後介紹了利用 ONNX Runtime 進行算子融合，為 BERT 在 CPU 上的部署奠定高效基礎。
How we sped up transformer inference 100x for 🤗 API customers
Hugging Face Blog1961d agoReleaseHugging Face 揭密其加速推理 API 的技術細節，成功將 Transformer 模型推理速度提高 100 倍。 核心方法結合了模型蒸餾（如 DistilBERT）、ONNX Runtime 的計算圖最佳化，以及 INT8 動態量化與半精度（FP16）技術。 此方案不僅大幅降低延遲至個位數毫秒級，也顯著降低了雲端部署成本，為開發者提供高效且經濟的 NLP 模型部署方案。