Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1099d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Language model roundup, April 2023
Replicate Blog1139d agoReleaseReplicate 發布了 2023 年 4 月的開源語言模型（LLM）彙整報告。文章介紹了當時快速崛起的開源模型，包括基於 LLaMA 微調的 Vicuna、首款可商用的 Dolly v2，以及 Stability AI 推出的 StableLM。讀者可以透過 Replicate 的雲端 API 輕鬆部署與測試這些模型，大幅降低了開發者使用開源大模型的門檻與硬體成本。
StackLLaMA: A hands-on guide to train LLaMA with RLHF★ 80
Hugging Face Blog1155d agoTutorial本指南是 Hugging Face 介紹如何使用 TRL（Transformer Reinforcement Learning）與 PEFT（LoRA）技術，對 LLaMA 模型進行人類回饋強化學習（RLHF）的經典實戰教學。文章以 Stack Exchange 數據集為例，詳細拆解了監督式微調（SFT）、獎勵模型（RM）訓練，以及近端策略最佳化（PPO）三大核心步驟，展示了如何在有限的硬體資源下完成大語言模型的對齊（Alignment）訓練。
How to use Alpaca-LoRA to fine-tune a model like ChatGPT★ 72
Replicate Blog1168d agoTutorial本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應（LoRA）技術，開發者可以在消費級硬體或 Replicate 雲端平台上，以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據，即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力，大幅降低了客製化大語言模型的門檻。
Week 3 of LLaMA 🦙
Replicate Blog1173d agoCommentary本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力，包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp，以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻，奠定了今日開源 AI 生態系蓬勃發展的基礎。
Train and run Stanford Alpaca on your own machine
Replicate Blog1175d agoTutorialStanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型，具備類似 ChatGPT 的對話能力。 Replicate 發表指南，詳細說明如何使用開源工具 Cog 將 Alpaca 打包，並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調，大幅降低了開發者構建專屬開源 LLM 的門檻。