Quanto: a PyTorch quantization backend for Optimum

Hugging Face 推出全新 PyTorch 量化工具庫 Quanto，支援多硬體與 4/8-bit 量化並整合至 Optimum。

Hugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。

摘要由 AI 整理,以原文為準。