🔥 Trending today
Hugging Face Text Generation Inference available for AWS Inferentia2★ 75
Hugging Face Blog853d agoReleaseHugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
Hugging Face Blog1540d agoTutorial本教學介紹如何結合 Hugging Face Transformers、AWS Neuron SDK 與 Amazon SageMaker，在 AWS Inferentia (inf1) 實例上部署 BERT 模型。透過將模型編譯為 Neuron 格式，開發者能以極低的延遲和更低的成本進行大規模 NLP 推論，非常適合需要高吞吐量生產環境的團隊。