本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應(LoRA)技術,開發者可以在消費級硬體或 Replicate 雲端平台上,以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據,即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力,大幅降低了客製化大語言模型的門檻。
Stanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型,具備類似 ChatGPT 的對話能力。 Replicate 發表指南,詳細說明如何使用開源工具 Cog 將 Alpaca 打包,並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調,大幅降低了開發者構建專屬開源 LLM 的門檻。