Profiling in PyTorch (Part 1): A Beginner's Guide to torch.profiler
Hugging Face Blog4d agoTutorialBased on the title, this Hugging Face Blog post is an introductory PyTorch profiling guide focused on torch.profiler. It likely targets developers and ML engineers who need to identify training or inference bottlenecks through observable performance data. Since the full article text was not provided, implementation details, examples, and specific optimization advice cannot be confirmed.
Streaming datasets: 100x More Efficient★ 85
Hugging Face Blog218d agoReleaseHugging Face 宣布對其開源 `datasets` 庫的串流（Streaming）模式進行重大升級，效率提升達 100 倍。新版本優化了底層資料讀取架構，顯著降低了記憶體佔用並提高了 I/O 吞吐量。這讓開發者在訓練超大型模型時，無需事先下載數百 GB 的完整資料集，即可實現極速的即時資料餵送，解決了 GPU 因等待資料而閒置的痛點。
Efficient Request Queueing – Optimizing LLM Performance★ 75
Hugging Face Blog426d agoTutorial隨著大語言模型（LLM）應用的普及，如何在高併發流量下維持低延遲與高吞吐量成為關鍵挑戰。本文深入分析了 LLM 推論的記憶體瓶頸（特別是 KV Cache），並探討如何結合「連續批處理（Continuous Batching）」與「請求佇列（Request Queueing）」機制。透過在推論引擎層與網關層實施合理的佇列策略，能有效防止 GPU 記憶體溢位（OOM），並在維持高吞吐量的同時，優化首字延遲（TTFT）與字元間延遲（ITL）。
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub★ 75
Hugging Face Blog475d agoReleaseHugging Face 官方宣布重構其 `huggingface_hub` SDK 的傳輸架構。新架構從傳統的「分塊（Chunks）」改為「區塊（Blocks）」管理，支援並行傳輸、獨立區塊重試與更低的記憶體佔用。這項更新顯著提升了數 GB 甚至數百 GB 級模型（如 Safetensors）與數據集的上傳與下載速度，並增強了網路不穩定時的容錯能力。
Rearchitecting Hugging Face Uploads and Downloads★ 75
Hugging Face Blog553d agoRelease隨著託管的模型與數據集規模暴增，Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此，他們重構了上傳與下載架構，將文件存儲與 Git 解耦，改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具，並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。