🔥 Trending today
Training CodeParrot 🦜 from Scratch
Hugging Face Blog1637d agoTutorialHugging Face 詳細公開了 CodeParrot 專案的訓練全紀錄，展示如何從零開始構建一個專門用於 Python 程式碼生成的 GPT-2 規模模型。 文章深入探討了大規模 GitHub 數據集的清洗與去重、專屬 Tokenizer 的訓練，以及使用 Accelerate 進行多 GPU 分佈式訓練的實務技巧。 此專案不僅提供了一個開源的程式碼模型，更為開發者提供了一套完整的、可複製的大型語言模型（LLM）預訓練工作流。
How to train a new language model from scratch using Transformers and Tokenizers★ 75
Hugging Face Blog2300d agoTutorial本文為 Hugging Face 的經典指南，詳細介紹如何從頭訓練全新的語言模型。內容涵蓋使用 tokenizers 快速訓練 Byte-Level BPE 分詞器、準備 Esperanto（世界語）數據集、配置 RoBERTa 模型架構，並利用 Trainer API 進行高效預訓練。這對於想為特定領域或罕見語言構建專屬模型的開發者與研究人員而言，是極具價值的實戰教學。