🔥 Trending today
Migrating the Hub from Git LFS to Xet★ 85
Hugging Face Blog322d agoReleaseHugging Face 宣布將其平台（Hub）的底層大檔案版本控制系統從 Git LFS 遷移至 Xet 技術。Git LFS 在面對數百 GB 的模型與超大數據集時常遇到效能瓶頸，而 Xet 透過「內容定義分塊（CDC）」技術實現區塊級去重，能顯著減少儲存空間並加速上傳與下載。此遷移將為開發者帶來更流暢的超大型 AI 資產管理體驗。
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub★ 75
Hugging Face Blog475d agoReleaseHugging Face 官方宣布重構其 `huggingface_hub` SDK 的傳輸架構。新架構從傳統的「分塊（Chunks）」改為「區塊（Blocks）」管理，支援並行傳輸、獨立區塊重試與更低的記憶體佔用。這項更新顯著提升了數 GB 甚至數百 GB 級模型（如 Safetensors）與數據集的上傳與下載速度，並增強了網路不穩定時的容錯能力。
Rearchitecting Hugging Face Uploads and Downloads★ 75
Hugging Face Blog553d agoRelease隨著託管的模型與數據集規模暴增，Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此，他們重構了上傳與下載架構，將文件存儲與 Git 解耦，改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具，並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。
From Files to Chunks: Improving HF Storage Efficiency★ 75
Hugging Face Blog559d agoReleaseHugging Face 發表全新的儲存優化方案，將傳統的檔案級儲存（如 Git LFS）轉型為「分塊儲存（Chunk-based Storage）」。透過內容定義分塊（CDC）與內容定址儲存（CAS）技術，Hub 能跨儲存庫進行資料去重。這對於微調（Fine-tune）與合併（Merge）模型的儲存能節省極大空間，並顯著加快上傳與下載速度。