本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應(LoRA)技術,開發者可以在消費級硬體或 Replicate 雲端平台上,以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據,即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力,大幅降低了客製化大語言模型的門檻。
本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力,包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp,以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻,奠定了今日開源 AI 生態系蓬勃發展的基礎。
Stanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型,具備類似 ChatGPT 的對話能力。 Replicate 發表指南,詳細說明如何使用開源工具 Cog 將 Alpaca 打包,並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調,大幅降低了開發者構建專屬開源 LLM 的門檻。