Latest in AI

Ulysses Sequence Parallelism: Training with Million-Token Contexts★ 78

Hugging Face 詳細介紹了 Ulysses 序列平行化（USP）技術。該技術透過在注意力計算前後進行 All-to-All 集合通訊，將序列維度與注意力頭維度進行轉置，使每個 GPU 能在本地高效計算完整序列的子集注意力。相較於傳統的 Megatron-SP 或 Ring Attention，Ulysses SP 具有極低的通訊開銷，並能與 ZeRO-3 完美結合，是訓練百萬級（Million-Token）超長上下文大模型的高效首選方案。