🔥 Trending today
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog854d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
Making a web app generator with open ML models
Hugging Face Blog1065d agoTutorialHugging Face 介紹了如何使用開源程式碼模型（如 StarCoder）構建「文字轉網頁應用（Text-to-Web-App）」產生器。文章詳細說明了系統架構，包括如何透過 Prompt 工程引導模型輸出包含 HTML、Tailwind CSS 與 JavaScript 的單一網頁檔案。此專案展示了開源模型在快速原型設計與程式碼生成上的強大潛力，並提供了在 Hugging Face Spaces 上的實作範例。
Large-scale Near-deduplication Behind BigCode★ 75
Hugging Face Blog1113d agoTutorial在訓練程式碼大語言模型（如 StarCoder）時，重複資料會嚴重影響模型效能。本文詳細介紹了 BigCode 專案如何利用 MinHash 和局部敏感雜湊（LSH）進行大規模的「近乎重複資料刪除（Near-deduplication）」。透過開源工具 `text-dedup`，BigCode 團隊成功處理了數 TB 的程式碼數據，不僅大幅減少了訓練資料量，還顯著降低了模型對特定程式碼的記憶效應，提升了泛化能力。