Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs

Intel 推出 AutoRound 量化工具，透過優化權重捨入，讓 LLM 與 VLM 在低位元下仍能保持高精度。

Intel 與 Hugging Face 合作介紹先進的僅權重量化演算法 AutoRound。它透過符號梯度下降優化權重捨入決策，顯著降低 4-bit 等低位元量化帶來的精度損失。該技術全面支援 LLM 與視覺語言模型（VLM），並已深度整合至 Hugging Face 生態系，讓開發者能更輕鬆地在消費級硬體上部署高效能模型。

摘要由 AI 整理,以原文為準。