New in llama.cpp: Model Management

llama.cpp 推出全新模型管理功能，支援從 Hugging Face Hub 直接下載與快取，並強化動態多模型切換。

熱門本地推論工具 llama.cpp 推出全新的「模型管理（Model Management）」機制。此更新深化了與 Hugging Face Hub 的整合，用戶可直接透過命令列下載與快取 GGUF 模型，無需手動操作。此外，llama-server 也新增了動態載入、卸載與熱切換多個模型的能力，並優化了 LoRA 權重的動態掛載，大幅提升本地 LLM 部署的靈活性與 GPU 記憶體利用率。

摘要由 AI 整理,以原文為準。