Releasing Swift Transformers: Run On-Device LLMs in Apple Devices

Hugging Face 推出開源 `swift-transformers` 套件，讓開發者能在 iOS 與 macOS 等 Apple 裝置上本地端高效運行 LLM。

Hugging Face 宣布推出全新開源 Swift 套件 `swift-transformers`，旨在簡化在 Apple 裝置（iOS、macOS）上部署與運行本地端大型語言模型（LLM）的流程。該套件支援 Tokenization 與模型推理，並能與 Apple 的 Core ML 框架緊密結合，充分發揮 Apple Silicon 的硬體加速優勢，為行動端應用帶來更隱私、低延遲的 AI 體驗。

摘要由 AI 整理,以原文為準。