Hugging Face 宣布將其平台(Hub)的底層大檔案版本控制系統從 Git LFS 遷移至 Xet 技術。Git LFS 在面對數百 GB 的模型與超大數據集時常遇到效能瓶頸,而 Xet 透過「內容定義分塊(CDC)」技術實現區塊級去重,能顯著減少儲存空間並加速上傳與下載。此遷移將為開發者帶來更流暢的超大型 AI 資產管理體驗。
Hugging Face 官方宣布重構其 `huggingface_hub` SDK 的傳輸架構。新架構從傳統的「分塊(Chunks)」改為「區塊(Blocks)」管理,支援並行傳輸、獨立區塊重試與更低的記憶體佔用。這項更新顯著提升了數 GB 甚至數百 GB 級模型(如 Safetensors)與數據集的上傳與下載速度,並增強了網路不穩定時的容錯能力。
隨著託管的模型與數據集規模暴增,Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此,他們重構了上傳與下載架構,將文件存儲與 Git 解耦,改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具,並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。
Hugging Face 發表全新的儲存優化方案,將傳統的檔案級儲存(如 Git LFS)轉型為「分塊儲存(Chunk-based Storage)」。透過內容定義分塊(CDC)與內容定址儲存(CAS)技術,Hub 能跨儲存庫進行資料去重。這對於微調(Fine-tune)與合併(Merge)模型的儲存能節省極大空間,並顯著加快上傳與下載速度。