Hugging Face Text Generation Inference available for AWS Inferentia2

Hugging Face 宣佈其高效能 LLM 推理框架 TGI 正式支援 AWS Inferentia2 晶片，大幅降低部署成本。

Hugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。

摘要由 AI 整理,以原文為準。