Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models★ 85
Hugging Face Blog804d agoReleaseHugging Face 發布了當時最大的開源合成數據集 Cosmopedia，內含 250 億 Token。該項目利用 Mixtral-8x7B 模型，根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明，使用此合成數據預訓練的 1.8B 模型（Cosmo-1.8B）在多項基準測試中超越了同量級的知名模型，為 LLM 預訓練提供了全新的合成數據生成範式。
GaLore: Advancing Large Model Training on Consumer-grade Hardware★ 85
Hugging Face Blog804d agoReleaseHugging Face 介紹了 GaLore（梯度低秩投影）技術，這是一種新型的記憶體優化訓練方法。與 LoRA 不同，GaLore 透過將梯度投影到低秩空間，大幅減少了優化器狀態的記憶體佔用。這使得開發者可以直接在單張 24GB 記憶體的消費級顯卡（如 RTX 4090）上，進行 7B 模型的全參數微調甚至從頭預訓練。
PatchTSMixer in HuggingFace★ 75
Hugging Face Blog865d agoReleaseIBM Research 開發的 PatchTSMixer 正式登陸 Hugging Face transformers 庫。該模型採用 Patching 技術與輕量級的 MLP-Mixer 架構，避開了傳統 Transformer 的高運算複雜度。它不僅支援多元時間序列的預測、分類與異常檢測，還具備強大的自監督預訓練與微調能力，為時間序列任務提供極佳的效能與速度平衡。
A Dive into Vision-Language Models★ 80
Hugging Face Blog1215d agoTutorialHugging Face 釋出的這篇技術指南，深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器，並剖析了對比學習（如 CLIP）、生成式（如 BLIP、GIT）及多模態融合等三大主流預訓練策略。最後，展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型，是理解多模態 AI 的必讀經典。
Efficient Table Pre-training without Real Data: An Introduction to TAPEX
Hugging Face Blog1471d agoRelease微軟提出的 TAPEX（Table Pre-training via Execution）是一種創新的表格預訓練方法，現已整合至 Hugging Face。它不依賴網路爬取的真實表格，而是利用隨機生成的 SQL 查詢及其執行結果（合成數據）來訓練 Seq2Seq 模型。這種「藉由執行來學習」的方式，顯著提升了模型對表格數據的推理能力，並在 WikiSQL 和 WikiTableQuestions 等基準測試中取得領先。
BERT 101 - State Of The Art NLP Model Explained
Hugging Face Blog1553d agoTutorial本指南深入淺出地解析了 Google 提出的革命性 NLP 模型 BERT。文章詳細介紹了其基於 Transformer Encoder 的雙向架構，並剖析了「遮罩語言模型 (MLM)」與「下一句預測 (NSP)」兩大核心預訓練機制。最後，展示了如何透過 Hugging Face 輕鬆將 BERT 應用於各種下游自然語言處理任務。
Training CodeParrot 🦜 from Scratch
Hugging Face Blog1637d agoTutorialHugging Face 詳細公開了 CodeParrot 專案的訓練全紀錄，展示如何從零開始構建一個專門用於 Python 程式碼生成的 GPT-2 規模模型。 文章深入探討了大規模 GitHub 數據集的清洗與去重、專屬 Tokenizer 的訓練，以及使用 Accelerate 進行多 GPU 分佈式訓練的實務技巧。 此專案不僅提供了一個開源的程式碼模型，更為開發者提供了一套完整的、可複製的大型語言模型（LLM）預訓練工作流。
How to train a new language model from scratch using Transformers and Tokenizers★ 75
Hugging Face Blog2300d agoTutorial本文為 Hugging Face 的經典指南，詳細介紹如何從頭訓練全新的語言模型。內容涵蓋使用 tokenizers 快速訓練 Byte-Level BPE 分詞器、準備 Esperanto（世界語）數據集、配置 RoBERTa 模型架構，並利用 Trainer API 進行高效預訓練。這對於想為特定領域或罕見語言構建專屬模型的開發者與研究人員而言，是極具價值的實戰教學。