Profiling in PyTorch (Part 1): A Beginner's Guide to torch.profiler
Hugging Face Blog4d agoTutorialBased on the title, this Hugging Face Blog post is an introductory PyTorch profiling guide focused on torch.profiler. It likely targets developers and ML engineers who need to identify training or inference bottlenecks through observable performance data. Since the full article text was not provided, implementation details, examples, and specific optimization advice cannot be confirmed.
Safetensors is Joining the PyTorch Foundation★ 75
Hugging Face Blog55d agoBusinessHugging Face 宣布其開發的安全且高效的模型權重儲存格式 Safetensors 正式加入 PyTorch 基金會。此舉旨在提升該格式的社群治理與中立性，並進一步鞏固其作為機器學習生態系中安全儲存張量的業界標準。未來雙方將共同推動更安全、更快速的模型載入技術。
Transformers v5: Simple model definitions powering the AI ecosystem★ 90
Hugging Face Blog183d agoReleaseHugging Face 正式發布 Transformers v5，核心聚焦於「簡化模型定義」。新版本解決了過去因「單一檔案原則」導致的程式碼冗餘問題，引入更具模組化且易讀的架構。這讓開發者能更輕鬆地修改、擴充與部署模型，同時保持與現有生態系的相容性，為 AI 社群帶來更高效的開發體驗。
Arm will be @ PyTorch Conference, Join Us!
Hugging Face Blog235d agoBusinessArm 宣佈將參與即將舉行的 PyTorch Conference。本次參展重點將聚焦於如何透過 Arm 架構優化 PyTorch 效能，包含針對伺服器端（如 AWS Graviton）與邊緣裝置（如 ExecuTorch）的加速方案。此外，Arm 也將展示其開源的 KleidiAI 函式庫如何與 PyTorch 深度整合，提升 AI 模型在 Arm 處理器上的執行效率。
Torch compile caching for inference speed★ 75
Replicate Blog267d agoTutorialPyTorch 的 torch.compile 能顯著提升模型推論速度，但首次編譯的「冷啟動」時間往往令人頭痛。Replicate 介紹了如何透過快取（Caching）編譯後的模型成品，避免每次容器啟動時重複編譯。這項技術能有效縮短伺服器無預載（Serverless）部署時的啟動延遲，讓開發者在享受高效能推論的同時，也能擁有極速的部署與反應時間。
Make your ZeroGPU Spaces go brrr with ahead-of-time compilation★ 75
Hugging Face Blog273d agoTutorialHugging Face 釋出最新指南，教導開發者如何在 ZeroGPU Spaces 中使用 PyTorch 的 AOT (Ahead-of-Time) 提前編譯技術。透過在建置階段將模型預先編譯為優化的 C++ 共享庫，開發者可以完全消除運行時的首次熱身（warm-up）延遲。這不僅能讓 ZeroGPU 的啟動與推理速度飛起，還能有效節省寶貴的 GPU 使用配額。
From Zero to GPU: A Guide to Building and Scaling Production-Ready CUDA Kernels★ 80
Hugging Face Blog288d agoTutorialHugging Face 推出實用指南，協助開發者克服自訂 GPU 算子的開發門檻。文章深入探討如何從零開始撰寫 CUDA Kernel，並介紹如何利用 OpenAI Triton 簡化開發流程。最後，指南展示了如何將這些自訂算子無縫整合至 PyTorch 中，並透過 Profiling 工具進行效能調優，以達到生產環境的擴展需求。
KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog363d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
nanoVLM: The simplest repository to train your VLM in pure PyTorch★ 75
Hugging Face Blog377d agoReleaseHugging Face 發表了 nanoVLM 專案，旨在提供一個最簡單、無冗餘程式碼的純 PyTorch 框架，讓開發者與研究人員能輕鬆理解並動手訓練自己的視覺語言模型（VLM）。該專案仿照 nanoGPT 的極簡風格，去除了複雜的封裝，完整展示了從圖像編碼器、投影層到語言模型的整合與訓練流程，是學習與實驗 VLM 的絕佳起點。
Visualize and understand GPU memory in PyTorch★ 82
Hugging Face Blog525d agoTutorialHugging Face 推出全新互動式部落格文章，深入解析 PyTorch 訓練時的 GPU 記憶體佔用機制。內容涵蓋模型參數、梯度、優化器狀態（如 AdamW）以及激活值（Activations）的記憶體計算公式。讀者可透過互動式工具，在實際訓練前精確估算記憶體需求，有效預防並排查 Out of Memory (OOM) 錯誤。
Accelerate 1.0.0★ 80
Hugging Face Blog627d agoReleaseHugging Face 旗下熱門的分散式訓練工具庫 Accelerate 正式迎來 1.0.0 版本。此版本標誌著 API 的全面穩定與成熟，大幅優化了 PyTorch FSDP 和 DeepSpeed 的整合，並提升了大模型推理（Big Model Inference）的資源調配效率。對於需要跨 GPU/TPU 進行模型微調或部署的開發者與研究人員而言，這是一次關鍵的重大升級。
Memory-efficient Diffusion Transformers with Quanto and Diffusers★ 80
Hugging Face Blog672d agoReleaseHugging Face 介紹了如何利用 optimum-quanto 量化工具來優化 diffusers 中的 Diffusion Transformers (DiT) 模型。隨著 DiT 模型（如 PixArt、HunyuanDiT）體積日益龐大，記憶體成為運行的瓶頸。透過將模型權重進行 8-bit 或 4-bit 量化，開發者可以在消費級 GPU 上以極低的精度損失運行這些大型生成模型，顯著降低 VRAM 需求。
Quanto: a PyTorch quantization backend for Optimum★ 75
Hugging Face Blog806d agoReleaseHugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models★ 75
Hugging Face Blog1225d agoReleaseHugging Face 介紹了 Optimum 庫與 ONNX Runtime (ORT) 的整合，為開發者提供更高效的訓練解決方案。透過將標準的 Trainer 替換為 ORTTrainer，開發者可以輕鬆啟用 ORT 的圖優化與記憶體管理技術。此方案在不犧牲模型精度的前提下，能顯著提升訓練吞吐量（通常可達 20%-40%）並降低 GPU 顯存佔用。
Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 1
Hugging Face Blog1247d agoTutorialHugging Face 與 Intel 合作，展示如何在新一代 Intel Sapphire Rapids 處理器上加速 Transformer 模型。 透過內建的 Intel AMX（進階矩陣擴充）指令集，能顯著提升 BF16 與 INT8 的運算效率。 開發者只需搭配 optimum-intel 庫，即可輕鬆在 CPU 上實現高達數倍的推理與訓練加速，無需繁瑣的底層代碼修改。
How 🤗 Accelerate runs very large models thanks to PyTorch★ 80
Hugging Face Blog1344d agoTutorialHugging Face 介紹了其 `Accelerate` 函式庫如何解決超大型模型（如 BLOOM-176B）在單一或有限 GPU 上因記憶體不足而無法加載的痛點。透過 PyTorch 的「元設備（Meta Device）」進行空權重初始化，並結合 `device_map="auto"` 自動將模型層分配至 GPU、CPU 甚至硬碟。這項技術讓開發者與研究人員能在消費級硬體或有限的資源下，進行超大模型的推理與微調。
Run Stable Diffusion on your M1 Mac’s GPU
Replicate Blog1371d agoTutorial本教學指導開發者如何在 M1 Mac 上利用 PyTorch 的 MPS (Metal Performance Shaders) 後端，本地端調用 GPU 運行 Stable Diffusion。內容涵蓋 Python 環境設定、安裝支援 MPS 的 PyTorch 與 Hugging Face diffusers 庫，並提供完整的程式碼範例，讓開發者能完全免費、私密地在 local 端進行 AI 圖像生成與二次開發。
Policy Gradient with PyTorch
Hugging Face Blog1433d agoTutorial本文為 Hugging Face 深度強化學習課程的第四單元，詳細介紹了策略梯度（Policy Gradient）與 REINFORCE 演算法的理論基礎。讀者將學習如何使用 PyTorch 建立策略網路、進行動作採樣、計算損失函數並更新權重。最後，教學還包含如何將訓練好的 Agent 部署並分享至 Hugging Face Hub。
Accelerate Large Model Training using DeepSpeed★ 75
Hugging Face Blog1435d agoTutorial本文介紹 Hugging Face Accelerate 與 Microsoft DeepSpeed 的整合方案。開發者只需透過簡單的 CLI 設定，即可在不修改 PyTorch 程式碼的前提下，啟用 ZeRO-Stage 1/2/3 與 ZeRO-Offload 技術。這大幅降低了單機多卡或多機多卡訓練超大型模型的門檻，有效解決 GPU 記憶體不足（OOM）的痛點。
The Annotated Diffusion Model★ 85
Hugging Face Blog1456d agoTutorial本文為 Hugging Face 經典的擴散模型（Diffusion Models）深度教學，以 DDPM 為核心。透過 PyTorch 程式碼逐步實作前向加噪與反向去噪過程，並詳細拆解 U-Net 架構與損失函數。適合想從底層程式碼理解生成式 AI 影像生成原理的開發者與研究者。
Welcome fastai to the Hugging Face Hub
Hugging Face Blog1488d agoReleaseHugging Face 宣布正式整合熱門深度學習庫 fastai。現在，fastai 用戶只需幾行程式碼，即可將訓練好的模型直接推送到 Hugging Face Hub 進行託管。這項合作不僅簡化了模型的分享與版本控制流程，還能讓 fastai 模型無縫對接 Hugging Face 的推理 API 與 Spaces 應用展示。
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel★ 75
Hugging Face Blog1492d agoReleaseHugging Face 宣布在其 Accelerate 庫中整合 PyTorch FSDP（完全分片數據並行）技術。FSDP 透過將模型參數、梯度和優化器狀態分片到多個 GPU 上，解決了單一 GPU 記憶體不足（OOM）的問題。這項技術讓開發者與研究人員能夠以更低的硬體門檻，高效訓練和微調擁有數十億甚至數百億參數的超大型語言模型。
Accelerating PyTorch distributed fine-tuning with Intel technologies
Hugging Face Blog1656d agoTutorialHugging Face 與 Intel 合作，展示如何利用 Intel Extension for PyTorch (IPEX) 和 oneCCL 提升 CPU 上的模型微調效率。透過自動混合精度（BFloat16）與優化的分散式通訊，開發者可以在 Intel Xeon 處理器上實現高效的多節點分散式訓練。這為缺乏 GPU 資源或希望活化現有 CPU 叢集的企業提供了極具成本效益的替代方案。
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face Blog1869d agoTutorial本文為 Hugging Face 與 Intel 合作的 CPU 優化指南首篇。文章深入探討 CPU 物理核心與超線程對深度學習的影響，並詳細說明如何透過正確配置 PyTorch 的 Intra-op/Inter-op 執行緒與環境變數（如 OMP_NUM_THREADS）來避免資源競爭。最後介紹了利用 ONNX Runtime 進行算子融合，為 BERT 在 CPU 上的部署奠定高效基礎。
Introducing 🤗 Accelerate★ 78
Hugging Face Blog1873d agoReleaseHugging Face 推出全新開源庫 Accelerate，旨在簡化 PyTorch 的分佈式訓練流程。開發者無需手動處理複雜的設備分配、混合精度（FP16）縮放或分佈式啟動指令。只需使用 Accelerator 類別包裝模型與數據，即可在單機、多 GPU 或 TPU 環境下直接運行相同的代碼，極大提升開發與部署效率。
Block Sparse Matrices for Smaller and Faster Language Models
Hugging Face Blog2091d agoTutorialHugging Face 探討如何透過區塊稀疏（Block Sparse）技術優化 Transformer 模型。傳統的稠密矩陣計算在處理長文本時會面臨平方級的複雜度瓶頸，而區塊稀疏化能將矩陣劃分為多個區塊，僅對非零區塊進行計算。此方法不僅能與 GPU 硬體高效協作，還能大幅降低記憶體消耗並加速推理與訓練，為開發更輕量、更快速的語言模型提供新途徑。