🔥 Trending today
GGML and llama.cpp join HF to ensure the long-term progress of Local AI★ 95
Hugging Face Blog102d agoBusiness開源 AI 領域迎來震撼消息，主導本地端 LLM 推理的開源專案 GGML 與 llama.cpp 正式宣布加入 Hugging Face。此舉旨在為本地端與邊緣端 AI 技術提供長期且穩定的資源支持。雙方將深化 GGUF 格式與 Hugging Face 平台的整合，確保開源社群能更輕鬆地在消費級硬體上運行高效能模型，持續推動去中心化與隱私優先的 AI 發展。
New in llama.cpp: Model Management★ 85
Hugging Face Blog173d agoRelease熱門本地推論工具 llama.cpp 推出全新的「模型管理（Model Management）」機制。此更新深化了與 Hugging Face Hub 的整合，用戶可直接透過命令列下載與快取 GGUF 模型，無需手動操作。此外，llama-server 也新增了動態載入、卸載與熱切換多個模型的能力，並優化了 LoRA 權重的動態掛載，大幅提升本地 LLM 部署的靈活性與 GPU 記憶體利用率。
Introduction to ggml★ 80
Hugging Face Blog658d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。