Distributed Training: Train BART/T5 for Summarization using 🤗 Transformers and Amazon SageMaker
Hugging Face Blog1883d agoTutorial這是一篇 Hugging Face 官方教學，指導開發者如何使用 Amazon SageMaker 的分散式訓練功能來微調大型 Seq2Seq 模型（如 BART 和 T5）。文章詳細說明了如何將 Hugging Face 的 Seq2SeqTrainer 與 SageMaker Data Parallelism 庫結合，以解決單一 GPU 記憶體不足或訓練過慢的問題。讀者將學會如何準備訓練腳本、配置 SageMaker Estimator，並在 AWS 的多 GPU 實例上啟動高效的分散式訓練任務。
The Partnership: Amazon SageMaker and Hugging Face★ 75
Hugging Face Blog1899d agoBusinessHugging Face 宣布與 AWS 達成全新合作夥伴關係，將其熱門的 Transformers 庫深度整合至 Amazon SageMaker。透過全新推出的 Hugging Face 深度學習容器（DLCs），開發者可以更輕鬆、快速地在 AWS 雲端上進行 NLP 模型的訓練、微調與推理部署。此合作大幅降低了企業在大規模機器學習基礎設施管理上的門檻。
My Journey to a serverless transformers pipeline on Google Cloud
Hugging Face Blog1904d agoTutorial本文記錄了作者將 Hugging Face Transformers 管道部署至 Google Cloud Serverless 環境的完整過程。內容涵蓋如何將 NLP 模型包裝成 API、利用 Docker 進行容器化，並解決 Serverless 部署中常見的冷啟動與記憶體限制問題。這是一份適合想降低維護成本、實現自動擴展的開發者的實用指南。
Fine-Tune Wav2Vec2 for English ASR in Hugging Face with 🤗 Transformers★ 70
Hugging Face Blog1910d agoTutorial本指南詳細介紹如何利用 🤗 Transformers 與 Datasets 庫微調 Meta 的 Wav2Vec2 模型以進行英文語音辨識（ASR）。教學涵蓋了語音數據預處理（重採樣至 16kHz）、使用 CTC 損失函數、配置 Wav2Vec2Processor，以及使用 Trainer API 進行模型訓練與字錯率（WER）評估，是語音 AI 領域的經典必讀教學。
Hugging Face Reads, Feb. 2021 - Long-range Transformers
Hugging Face Blog1913d agoCommentary本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」（Long-range Transformers）解決方案，包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制，成功將複雜度降至線性，使處理數千甚至數萬個 token 的長文本成為可能。
Retrieval Augmented Generation with Huggingface Transformers and Ray
Hugging Face Blog1940d agoTutorialHugging Face 與 Anyscale 合作，展示如何利用 Ray 框架來擴展檢索增強生成（RAG）模型。 透過將 Ray 的分散式運算能力與 Hugging Face 的 NLP 模型結合，開發者可以高效地在海量知識庫中進行向量檢索與文本生成。 此方案解決了 RAG 在處理大規模知識庫（如完整維基百科）時的記憶體限制與運算瓶頸，顯著提升查詢吞吐量。
Hugging Face on PyTorch / XLA TPUs
Hugging Face Blog1941d agoReleaseHugging Face 於 2021 年宣布與 Google 合作，正式支援 PyTorch/XLA。這項整合讓 PyTorch 開發者無需修改大量程式碼，即可利用 Google Cloud TPU 的強大算力來加速 Transformer 模型的訓練與推理。透過 Hugging Face 的 Trainer API，開發者可以輕鬆在單個或多個 TPU 節點上進行分散式訓練，大幅提升運算效率並降低成本。
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale★ 80
Hugging Face Blog1962d agoReleaseHugging Face 宣布在其 Trainer 中整合 Microsoft DeepSpeed 與 Facebook FairScale 的 ZeRO（零冗餘優化器）技術。這項技術透過將優化器狀態、梯度和模型參數分片到多個 GPU 上，顯著降低顯存佔用。開發者現在可以輕鬆在有限的硬體資源下，訓練原本無法容納的超大型 Transformer 模型，並大幅提升訓練效率。
How we sped up transformer inference 100x for 🤗 API customers
Hugging Face Blog1963d agoReleaseHugging Face 揭密其加速推理 API 的技術細節，成功將 Transformer 模型推理速度提高 100 倍。 核心方法結合了模型蒸餾（如 DistilBERT）、ONNX Runtime 的計算圖最佳化，以及 INT8 動態量化與半精度（FP16）技術。 此方案不僅大幅降低延遲至個位數毫秒級，也顯著降低了雲端部署成本，為開發者提供高效且經濟的 NLP 模型部署方案。
Porting fairseq wmt19 translation system to transformers
Hugging Face Blog2039d agoRelease本文介紹 Hugging Face 將 Facebook AI (FAIR) 的 Fairseq WMT19 機器翻譯系統移植至 `transformers` 程式庫（FSMT）的過程。WMT19 模型在英德、英俄翻譯中表現極佳，但過去需依賴複雜的 `fairseq` 框架。移植後，開發者只需幾行程式碼即可調用這些強大的翻譯模型，大幅降低了學術與工業界的部署難度。
Transformer-based Encoder-Decoder Models★ 70
Hugging Face Blog2063d agoTutorial本文為 Hugging Face 撰寫的經典技術指南，深入探討基於 Transformer 的編碼器-解碼器（Encoder-Decoder）架構。文章詳細解析了雙向編碼器、自迴歸解碼器以及兩者之間的交叉注意力機制（Cross-Attention），並介紹如何利用 Hugging Face `EncoderDecoderModel` 結合預訓練模型（如 BERT 與 GPT-2）來建構強大的序列到序列（Seq2Seq）模型。
How to generate text: using different decoding methods for language generation with Transformers★ 85
Hugging Face Blog2286d agoTutorial這篇 Hugging Face 的經典技術指南介紹了自迴歸語言模型中不同的文本生成解碼策略。內容涵蓋傳統的貪婪搜索（Greedy Search）與束搜索（Beam Search），並探討如何透過隨機採樣（Sampling）、溫度調節（Temperature）、Top-K 與 Top-p（核採樣）來解決生成文本重複或單調的問題。這對於想優化 LLM 輸出品質的開發者與研究者來說是必讀的基礎教學。
How to train a new language model from scratch using Transformers and Tokenizers★ 75
Hugging Face Blog2302d agoTutorial本文為 Hugging Face 的經典指南，詳細介紹如何從頭訓練全新的語言模型。內容涵蓋使用 tokenizers 快速訓練 Byte-Level BPE 分詞器、準備 Esperanto（世界語）數據集、配置 RoBERTa 模型架構，並利用 Trainer API 進行高效預訓練。這對於想為特定領域或罕見語言構建專屬模型的開發者與研究人員而言，是極具價值的實戰教學。