Hugging Face 配合 Apple WWDC 24 的更新,發表了將 Mistral 7B 轉換並運行於 Core ML 的完整指南。 透過 Core ML 轉換工具與 4-bit 等量化技術,開發者能將模型部署至 Apple Silicon 晶片,充分利用 Apple 類神經網路引擎(ANE)與統一記憶體。 此舉大幅降低了在 macOS、iOS 等 Apple 生態系中本地部署高效能開源 LLM 的門檻。
本文介紹如何利用 Core ML 技術在 Apple Silicon 晶片上加速 Stable Diffusion。透過模型量化(如 6-bit/8-bit)與 Apple 神經網路引擎(ANE)的優化,開發者能顯著降低記憶體佔用,在 iPhone、iPad 和 Mac 上實現本地端超快速的圖像生成,有效解決行動裝置記憶體不足(OOM)的痛點。