🔥 Trending today
How to deploy and fine-tune DeepSeek models on AWS★ 85
Hugging Face Blog488d agoTutorial本文為 Hugging Face 釋出的實用指南，詳細介紹如何在 AWS 環境中部署與微調熱門的 DeepSeek-R1 及其蒸餾（Distilled）模型。內容涵蓋使用 Hugging Face LLM DLC（深度學習容器）與 TGI 技術在 Amazon SageMaker 上進行低延遲推論部署，以及如何透過 SageMaker 訓練作業與 Hugging Face TRL 庫進行高效微調（如 LoRA），並提供針對不同模型大小的 AWS 硬體配置建議。
Llama 2 on Amazon SageMaker a Benchmark
Hugging Face Blog980d agoTutorialHugging Face 針對 Llama 2 (7B、13B、70B) 在 Amazon SageMaker 上的部署進行了全面的效能基準測試。測試涵蓋了多種 AWS g5 與 p4 實例，評估指標包括首字延遲 (TTFT)、吞吐量 (tokens/sec) 與成本。這份指南能幫助開發者在部署開源大模型時，在效能與雲端預算之間取得最佳平衡。