🔥 Trending today
Training CodeParrot 🦜 from Scratch
Hugging Face Blog1637d agoTutorialHugging Face 詳細公開了 CodeParrot 專案的訓練全紀錄，展示如何從零開始構建一個專門用於 Python 程式碼生成的 GPT-2 規模模型。 文章深入探討了大規模 GitHub 數據集的清洗與去重、專屬 Tokenizer 的訓練，以及使用 Accelerate 進行多 GPU 分佈式訓練的實務技巧。 此專案不僅提供了一個開源的程式碼模型，更為開發者提供了一套完整的、可複製的大型語言模型（LLM）預訓練工作流。
Large Language Models: A New Moore's Law?
Hugging Face Blog1680d agoOpinion本文探討大型語言模型（LLM）參數規模以驚人速度增長的現象，並將其與「摩爾定律」相提並論。然而，這種「越大越好」的趨勢伴隨著極高的算力成本、碳排放以及技術壟斷風險。Hugging Face 呼籲社群關注模型民主化，並透過開源合作（如 BigScience 專案）與高效能技術（如蒸餾、量化）來打破巨頭壟斷，尋求更永續的 AI 發展路徑。
← PreviousPage 4