🔥 Trending today
Accelerating PyTorch distributed fine-tuning with Intel technologies
Hugging Face Blog1656d agoTutorialHugging Face 與 Intel 合作，展示如何利用 Intel Extension for PyTorch (IPEX) 和 oneCCL 提升 CPU 上的模型微調效率。透過自動混合精度（BFloat16）與優化的分散式通訊，開發者可以在 Intel Xeon 處理器上實現高效的多節點分散式訓練。這為缺乏 GPU 資源或希望活化現有 CPU 叢集的企業提供了極具成本效益的替代方案。
Scaling up BERT-like model Inference on modern CPU - Part 2
Hugging Face Blog1671d agoTutorial本篇為 Hugging Face 與 Intel 合作的第二部分，深入探討在現代 CPU（如 Intel Xeon）上優化 BERT 推理的進階技術。文章重點介紹了 Intel Extension for PyTorch (IPEX)、INT8 量化以及 Bfloat16 混合精度運算。透過這些軟硬體協同優化與 NUMA 核心綁定，開發者能在不犧牲精度的前提下，獲得數倍的推理吞吐量提升。