Latest in AI

New in llama.cpp: Model Management★ 85

熱門本地推論工具 llama.cpp 推出全新的「模型管理（Model Management）」機制。此更新深化了與 Hugging Face Hub 的整合，用戶可直接透過命令列下載與快取 GGUF 模型，無需手動操作。此外，llama-server 也新增了動態載入、卸載與熱切換多個模型的能力，並優化了 LoRA 權重的動態掛載，大幅提升本地 LLM 部署的靈活性與 GPU 記憶體利用率。