Rearchitecting Hugging Face Uploads and Downloads

Hugging Face 重構底層架構，擺脫傳統 Git-LFS 限制，實現超高速、高可靠性的大型模型與數據集傳輸。

隨著託管的模型與數據集規模暴增，Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此，他們重構了上傳與下載架構，將文件存儲與 Git 解耦，改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具，並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。

摘要由 AI 整理,以原文為準。