Parameter-Efficient Fine-Tuning using 🤗 PEFT

Hugging Face 推出 PEFT 庫，支援 LoRA 等高效微調技術，讓消費級 GPU 也能輕鬆微調百億參數模型。

Hugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。

摘要由 AI 整理,以原文為準。