Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
Hugging Face Blog1356d agoTutorialHugging Face 釋出技術指南，針對 1760 億參數的開源巨型模型 BLOOM 提供高效推理方案。透過結合 DeepSpeed-Inference 的張量並行（Tensor Parallelism）與 Accelerate 的彈性部署，解決了超大模型需要超高 VRAM 的痛點。文章提供具體 PyTorch 腳本與基準測試，展示如何在多卡環境下將推理延遲降至最低。
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes★ 80
Hugging Face Blog1386d agoReleaseHugging Face 宣布與 bitsandbytes 深度整合，支援 LLM.int8() 8-bit 量化技術。此技術透過混合精度分解，將極端值保留在 FP16，其餘進行 8-bit 量化，成功讓大模型（如 BLOOM-176B）的記憶體需求減半。開發者現在只需在 from_pretrained 中加入 load_in_8bit=True，即可在消費級 GPU 上運行原本需要多張顯卡的大型語言模型。
Convert Transformers to ONNX with Hugging Face Optimum
Hugging Face Blog1442d agoTutorial本文介紹 Hugging Face 推出的一站式硬體優化工具包 Optimum，展示如何將 Transformers 模型轉換為 ONNX 格式。透過簡單的 optimum-cli 命令行工具或 Python API，開發者即可完成轉換，並利用 ONNX Runtime 在各種硬體上實現顯著的推理加速與量化優化，解決過去手動轉換繁瑣且易出錯的痛點。
Accelerated Inference with Optimum and Transformers Pipelines★ 75
Hugging Face Blog1485d agoReleaseHugging Face 介紹了如何將硬體優化工具包 Optimum 與受歡迎的 Transformers Pipelines 整合。開發者現在能直接載入 ONNX 格式模型並傳入 Pipeline 中，在 CPU 或 GPU 上實現顯著的延遲降低與吞吐量提升。這項更新免去了手動導出 ONNX 的繁瑣步驟，極大地簡化了生產環境的部署流程。
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
Hugging Face Blog1604d agoTutorial本文介紹如何將 EleutherAI 的 GPT-J 6B 模型部署至 Amazon SageMaker。透過 Hugging Face 專為 SageMaker 設計的深度學習容器（DLC），開發者無需繁瑣設定即可完成託管。內容涵蓋環境準備、模型載入、端點建立及推論測試，適合需要在 AWS 雲端部署開源大模型的開發者。
Scaling up BERT-like model Inference on modern CPU - Part 2
Hugging Face Blog1672d agoTutorial本篇為 Hugging Face 與 Intel 合作的第二部分，深入探討在現代 CPU（如 Intel Xeon）上優化 BERT 推理的進階技術。文章重點介紹了 Intel Extension for PyTorch (IPEX)、INT8 量化以及 Bfloat16 混合精度運算。透過這些軟硬體協同優化與 NUMA 核心綁定，開發者能在不犧牲精度的前提下，獲得數倍的推理吞吐量提升。
How we sped up transformer inference 100x for 🤗 API customers
Hugging Face Blog1962d agoReleaseHugging Face 揭密其加速推理 API 的技術細節，成功將 Transformer 模型推理速度提高 100 倍。 核心方法結合了模型蒸餾（如 DistilBERT）、ONNX Runtime 的計算圖最佳化，以及 INT8 動態量化與半精度（FP16）技術。 此方案不僅大幅降低延遲至個位數毫秒級，也顯著降低了雲端部署成本，為開發者提供高效且經濟的 NLP 模型部署方案。