Building Blocks for Foundation Model Training and Inference on AWS★ 75
Hugging Face Blog21d agoTutorialHugging Face 與 AWS 合作介紹在 AWS 上構建基礎模型的關鍵組件。文章涵蓋如何利用 AWS Trainium 和 Inferentia 晶片，並結合 Hugging Face Optimum Neuron 庫來優化效能。同時，也探討了透過 Amazon SageMaker 與專屬深度學習容器（DLCs）來簡化分散式訓練與高吞吐量推理的部署流程。
Hugging Face models in Amazon Bedrock★ 78
Hugging Face Blog540d agoReleaseHugging Face 宣布與 AWS 達成新合作，將其平台上的熱門開源模型整合至 Amazon Bedrock。開發者無需自行管理複雜的底層基礎設施，即可透過 Bedrock 的託管服務與 API 快速呼叫、部署並擴展 Hugging Face 上的模型。此舉大幅降低了企業在 AWS 生態系中使用開源 AI 模型的門檻，並簡化了計費與安全合規流程。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog725d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。
Deploy models on AWS Inferentia2 from Hugging Face★ 75
Hugging Face Blog741d agoReleaseHugging Face 宣布其託管服務 Inference Endpoints 正式支援 AWS Inferentia2 (Inf2) 執行個體。這項整合讓開發者無需繁瑣的編譯設定，即可將 Llama、Mistral 等大型語言模型部署至 AWS 的專屬推論晶片上。相較於傳統 GPU，Inferentia2 能大幅降低推論成本並提升吞吐量，為企業提供更具成本效益的生產環境部署選擇。
Subscribe to Enterprise Hub with your AWS Account
Hugging Face Blog754d agoBusinessHugging Face 宣布其企業級平台 Enterprise Hub 已正式上架 AWS Marketplace。企業客戶現在可以直接使用現有的 AWS 帳戶進行訂閱，並將費用合併至 AWS 帳單中，簡化企業內部的採購與財務審批流程。此舉讓企業能更安全、合規地在 AWS 雲端環境中協作、部署與管理開源 AI 模型與數據集。
Make your llama generation time fly with AWS Inferentia2★ 72
Hugging Face Blog938d agoTutorialHugging Face 介紹如何使用 AWS Inferentia2（Inf2 執行個體）來加速 Llama 2 模型的推理。透過 Optimum Neuron 整合庫，開發者可以輕鬆將 Llama 2 編譯並部署至 AWS 自研晶片上。這不僅能顯著提升文字生成速度（降低延遲），還能大幅降低雲端部署的硬體成本，是 NVIDIA GPU 之外的高性價比替代方案。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1005d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
Hugging Face Hub on the AWS Marketplace: Pay with your AWS Account
Hugging Face Blog1027d agoReleaseHugging Face 宣布其 Hub 服務正式登陸 AWS Marketplace。企業客戶現在可以直接使用現有的 AWS 帳戶訂閱與支付 Hugging Face 的服務（如 Enterprise Hub）。這項合作簡化了企業的採購與財務審批流程，並允許企業利用現有的 AWS 承諾消費（Commitments）來抵扣 Hugging Face 的費用，加速企業級 AI 應用的落地。
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1098d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
Hugging Face Blog1603d agoTutorial本文介紹如何將 EleutherAI 的 GPT-J 6B 模型部署至 Amazon SageMaker。透過 Hugging Face 專為 SageMaker 設計的深度學習容器（DLC），開發者無需繁瑣設定即可完成託管。內容涵蓋環境準備、模型載入、端點建立及推論測試，適合需要在 AWS 雲端部署開源大模型的開發者。
Deploy Hugging Face models easily with Amazon SageMaker
Hugging Face Blog1790d agoReleaseHugging Face 宣布與 AWS 深度整合，推出專屬的 SageMaker 深度學習容器（DLC）。開發者現在可以直接利用 SageMaker Python SDK，將 Hugging Face Hub 上的數萬個預訓練模型一鍵部署至託管的 SageMaker 端點。這項合作大幅簡化了 NLP 模型的正式生產環境部署流程，並兼顧了 AWS 的安全與彈性擴展優勢。
Distributed Training: Train BART/T5 for Summarization using 🤗 Transformers and Amazon SageMaker
Hugging Face Blog1881d agoTutorial這是一篇 Hugging Face 官方教學，指導開發者如何使用 Amazon SageMaker 的分散式訓練功能來微調大型 Seq2Seq 模型（如 BART 和 T5）。文章詳細說明了如何將 Hugging Face 的 Seq2SeqTrainer 與 SageMaker Data Parallelism 庫結合，以解決單一 GPU 記憶體不足或訓練過慢的問題。讀者將學會如何準備訓練腳本、配置 SageMaker Estimator，並在 AWS 的多 GPU 實例上啟動高效的分散式訓練任務。
The Partnership: Amazon SageMaker and Hugging Face★ 75
Hugging Face Blog1897d agoBusinessHugging Face 宣布與 AWS 達成全新合作夥伴關係，將其熱門的 Transformers 庫深度整合至 Amazon SageMaker。透過全新推出的 Hugging Face 深度學習容器（DLCs），開發者可以更輕鬆、快速地在 AWS 雲端上進行 NLP 模型的訓練、微調與推理部署。此合作大幅降低了企業在大規模機器學習基礎設施管理上的門檻。