Decoupled DiLoCo: A new frontier for resilient, distributed AI training

Google DeepMind 推出 Decoupled DiLoCo，透過解耦同步機制，實現跨地域、高容錯且低頻寬需求的分散式 AI 大模型訓練。

Google DeepMind 發表「Decoupled DiLoCo」技術，旨在解決跨資料中心或不穩定網路環境下的 AI 訓練難題。該技術改良了原有的 DiLoCo 演算法，將本地訓練與全域同步解耦，大幅提升了對「慢節點（stragglers）」與斷線的容錯能力。這項突破讓利用全球閒置或異質算力進行超大規模模型訓練變得更加可行。

摘要由 AI 整理,以原文為準。