Ettin Suite: SoTA Paired Encoders and Decoders★ 75
Hugging Face Blog321d agoReleaseHugging Face 發表全新的 Ettin Suite，這是一系列最先進（SoTA）的成對編碼器與解碼器（Paired Encoders and Decoders）模型。該套件旨在解決傳統雙向與單向模型在表徵學習與序列生成之間的斷層，提供更緊密的語意對齊。Ettin 在多項檢索（RAG）與生成基準測試中表現優異，並完全開源供社群使用。
Distributed Training: Train BART/T5 for Summarization using 🤗 Transformers and Amazon SageMaker
Hugging Face Blog1881d agoTutorial這是一篇 Hugging Face 官方教學，指導開發者如何使用 Amazon SageMaker 的分散式訓練功能來微調大型 Seq2Seq 模型（如 BART 和 T5）。文章詳細說明了如何將 Hugging Face 的 Seq2SeqTrainer 與 SageMaker Data Parallelism 庫結合，以解決單一 GPU 記憶體不足或訓練過慢的問題。讀者將學會如何準備訓練腳本、配置 SageMaker Estimator，並在 AWS 的多 GPU 實例上啟動高效的分散式訓練任務。
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
Hugging Face Blog2031d agoTutorialHugging Face 發表技術部落格，介紹如何使用 `EncoderDecoderModel` 將現有的預訓練編碼器（如 BERT）與解碼器（如 GPT-2）結合。 這種「熱啟動（Warm-starting）」方法免去了從頭訓練 Seq2Seq 模型的巨大成本，特別適合摘要生成和機器翻譯等任務。 文章詳細說明了架構原理、交叉注意力機制的初始化，並提供了實用的 Transformers 程式碼範例。
Transformer-based Encoder-Decoder Models★ 70
Hugging Face Blog2061d agoTutorial本文為 Hugging Face 撰寫的經典技術指南，深入探討基於 Transformer 的編碼器-解碼器（Encoder-Decoder）架構。文章詳細解析了雙向編碼器、自迴歸解碼器以及兩者之間的交叉注意力機制（Cross-Attention），並介紹如何利用 Hugging Face `EncoderDecoderModel` 結合預訓練模型（如 BERT 與 GPT-2）來建構強大的序列到序列（Seq2Seq）模型。