🔥 Trending today
Visualize and understand GPU memory in PyTorch★ 82
Hugging Face Blog525d agoTutorialHugging Face 推出全新互動式部落格文章，深入解析 PyTorch 訓練時的 GPU 記憶體佔用機制。內容涵蓋模型參數、梯度、優化器狀態（如 AdamW）以及激活值（Activations）的記憶體計算公式。讀者可透過互動式工具，在實際訓練前精確估算記憶體需求，有效預防並排查 Out of Memory (OOM) 錯誤。
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes★ 80
Hugging Face Blog1385d agoReleaseHugging Face 宣布與 bitsandbytes 深度整合，支援 LLM.int8() 8-bit 量化技術。此技術透過混合精度分解，將極端值保留在 FP16，其餘進行 8-bit 量化，成功讓大模型（如 BLOOM-176B）的記憶體需求減半。開發者現在只需在 from_pretrained 中加入 load_in_8bit=True，即可在消費級 GPU 上運行原本需要多張顯卡的大型語言模型。