Building Blocks for Foundation Model Training and Inference on AWS★ 75
Hugging Face Blog22d agoTutorialHugging Face 與 AWS 合作介紹在 AWS 上構建基礎模型的關鍵組件。文章涵蓋如何利用 AWS Trainium 和 Inferentia 晶片，並結合 Hugging Face Optimum Neuron 庫來優化效能。同時，也探討了透過 Amazon SageMaker 與專屬深度學習容器（DLCs）來簡化分散式訓練與高吞吐量推理的部署流程。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog725d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1005d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1098d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
Hugging Face Blog1539d agoTutorial本教學介紹如何結合 Hugging Face Transformers、AWS Neuron SDK 與 Amazon SageMaker，在 AWS Inferentia (inf1) 實例上部署 BERT 模型。透過將模型編譯為 Neuron 格式，開發者能以極低的延遲和更低的成本進行大規模 NLP 推論，非常適合需要高吞吐量生產環境的團隊。
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
Hugging Face Blog1603d agoTutorial本文介紹如何將 EleutherAI 的 GPT-J 6B 模型部署至 Amazon SageMaker。透過 Hugging Face 專為 SageMaker 設計的深度學習容器（DLC），開發者無需繁瑣設定即可完成託管。內容涵蓋環境準備、模型載入、端點建立及推論測試，適合需要在 AWS 雲端部署開源大模型的開發者。
Deploy Hugging Face models easily with Amazon SageMaker
Hugging Face Blog1790d agoReleaseHugging Face 宣布與 AWS 深度整合，推出專屬的 SageMaker 深度學習容器（DLC）。開發者現在可以直接利用 SageMaker Python SDK，將 Hugging Face Hub 上的數萬個預訓練模型一鍵部署至託管的 SageMaker 端點。這項合作大幅簡化了 NLP 模型的正式生產環境部署流程，並兼顧了 AWS 的安全與彈性擴展優勢。