本文為 Hugging Face 釋出的實用指南,詳細介紹如何在 AWS 環境中部署與微調熱門的 DeepSeek-R1 及其蒸餾(Distilled)模型。內容涵蓋使用 Hugging Face LLM DLC(深度學習容器)與 TGI 技術在 Amazon SageMaker 上進行低延遲推論部署,以及如何透過 SageMaker 訓練作業與 Hugging Face TRL 庫進行高效微調(如 LoRA),並提供針對不同模型大小的 AWS 硬體配置建議。
Hugging Face 針對 Llama 2 (7B、13B、70B) 在 Amazon SageMaker 上的部署進行了全面的效能基準測試。測試涵蓋了多種 AWS g5 與 p4 實例,評估指標包括首字延遲 (TTFT)、吞吐量 (tokens/sec) 與成本。這份指南能幫助開發者在部署開源大模型時,在效能與雲端預算之間取得最佳平衡。