The PR you would have opened yourself★ 80
Hugging Face Blog47d agoReleaseHugging Face 發表最新技術部落格，介紹了將 transformers 模型無縫轉換至 Apple MLX 框架的全新整合。這項被譽為「你自己也會想開的 PR」的更新，解決了過去 Mac 開發者在 Apple Silicon 上部署與微調開源模型時的繁瑣步驟。透過此整合，開發者能直接利用 MLX 的統一記憶體優勢，在 Mac 上實現極致的推理與訓練效能。
New in llama.cpp: Model Management★ 85
Hugging Face Blog173d agoRelease熱門本地推論工具 llama.cpp 推出全新的「模型管理（Model Management）」機制。此更新深化了與 Hugging Face Hub 的整合，用戶可直接透過命令列下載與快取 GGUF 模型，無需手動操作。此外，llama-server 也新增了動態載入、卸載與熱切換多個模型的能力，並優化了 LoRA 權重的動態掛載，大幅提升本地 LLM 部署的靈活性與 GPU 記憶體利用率。
Mass Intelligence★ 85
One Useful Thing (Mollick)277d agoOpinion知名 AI 學者 Ethan Mollick 撰文探討「大眾智能（Mass Intelligence）」的降臨。他指出，AI 正在朝兩極化普及：一方面是如 GPT-5 等具備頂尖推理能力的前沿模型，另一方面是能在個人裝置運行的超輕量本地模型（如 nano banana 等）。這意味著強大的 AI 算力將如同電力般無所不在且廉價，徹底民主化智能的獲取管道。
Welcome the NVIDIA Llama Nemotron Nano VLM to Hugging Face Hub★ 75
Hugging Face Blog339d agoReleaseNVIDIA 宣布將其輕量級視覺語言模型 Llama Nemotron Nano VLM 上架至 Hugging Face Hub。該模型結合了 Llama 架構與 NVIDIA 的 Nemotron 優化技術，專為邊緣運算與本機端部署設計。它能在低資源設備上高效執行圖像理解、視覺問答（VQA）與 OCR 等任務，為開發者提供更便利的開源多模態選擇。
Open R1: How to use OlympicCoder locally for coding★ 75
Hugging Face Blog439d agoTutorialHugging Face 發表指南，介紹如何利用 LM Studio 在本機運行 Open R1 計畫的 OlympicCoder 模型。OlympicCoder 是專為程式設計與推理優化的開源模型。透過本機部署，開發者無需將程式碼上傳至雲端，即可享受媲美頂級商用模型的程式碼生成與除錯能力，兼顧隱私與效能。
Introduction to ggml★ 80
Hugging Face Blog658d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
WWDC 24: Running Mistral 7B with Core ML★ 75
Hugging Face Blog680d agoTutorialHugging Face 配合 Apple WWDC 24 的更新，發表了將 Mistral 7B 轉換並運行於 Core ML 的完整指南。 透過 Core ML 轉換工具與 4-bit 等量化技術，開發者能將模型部署至 Apple Silicon 晶片，充分利用 Apple 類神經網路引擎（ANE）與統一記憶體。 此舉大幅降低了在 macOS、iOS 等 Apple 生態系中本地部署高效能開源 LLM 的門檻。
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake★ 70
Hugging Face Blog804d agoTutorialHugging Face 發布技術指南，展示如何在搭載 Intel Meteor Lake（Core Ultra）處理器的筆電上本機部署微軟 Phi-2（2.7B）模型。透過 Optimum Intel 與 OpenVINO 進行 INT4 量化，開發者能充分利用筆電的 CPU、GPU 或 NPU 進行低延遲、隱私安全的本機 AI 推理，為 AI PC 的個人助理應用提供實踐範例。
A comprehensive guide to running Llama 2 locally★ 70
Replicate Blog1046d agoTutorial本指南為開發者與 AI 愛好者提供在各種平台上本地運行 Llama 2 的實用方法。內容涵蓋適合 Mac 用戶的 Ollama、跨平台的 llama.cpp、圖形介面的 LM Studio，以及能在手機上運行 Llama 2 的 MLC LLM。透過這些工具，使用者無需依賴雲端 API 即可保護隱私並降低成本。
Week 3 of LLaMA 🦙
Replicate Blog1172d agoCommentary本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力，包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp，以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻，奠定了今日開源 AI 生態系蓬勃發展的基礎。