知名 AI 學者 Ethan Mollick 撰文探討「大眾智能(Mass Intelligence)」的降臨。他指出,AI 正在朝兩極化普及:一方面是如 GPT-5 等具備頂尖推理能力的前沿模型,另一方面是能在個人裝置運行的超輕量本地模型(如 nano banana 等)。這意味著強大的 AI 算力將如同電力般無所不在且廉價,徹底民主化智能的獲取管道。
本指南為開發者與 AI 愛好者提供在各種平台上本地運行 Llama 2 的實用方法。內容涵蓋適合 Mac 用戶的 Ollama、跨平台的 llama.cpp、圖形介面的 LM Studio,以及能在手機上運行 Llama 2 的 MLC LLM。透過這些工具,使用者無需依賴雲端 API 即可保護隱私並降低成本。
本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力,包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp,以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻,奠定了今日開源 AI 生態系蓬勃發展的基礎。