Latest in AI

Accelerating Hugging Face Transformers with AWS Inferentia2★ 70

Hugging Face 與 AWS 合作，透過 optimum-neuron 工具套件，簡化了在 AWS Inferentia2 (Inf2) 實例上部署 Transformers 模型的流程。開發者現在可以輕鬆將 PyTorch 模型編譯並運行於專為深度學習推理設計的 Inf2 晶片上。這項整合不僅大幅降低了雲端推理成本，還顯著提升了模型吞吐量並降低延遲。