From Files to Chunks: Improving HF Storage Efficiency

Hugging Face 推出全新「分塊儲存」技術，透過跨庫去重大幅降低模型儲存成本並提升傳輸速度。

Hugging Face 發表全新的儲存優化方案，將傳統的檔案級儲存（如 Git LFS）轉型為「分塊儲存（Chunk-based Storage）」。透過內容定義分塊（CDC）與內容定址儲存（CAS）技術，Hub 能跨儲存庫進行資料去重。這對於微調（Fine-tune）與合併（Merge）模型的儲存能節省極大空間，並顯著加快上傳與下載速度。

摘要由 AI 整理,以原文為準。