Latest in AI

Decoupled DiLoCo: A new frontier for resilient, distributed AI training★ 85

Google DeepMind 發表「Decoupled DiLoCo」技術，旨在解決跨資料中心或不穩定網路環境下的 AI 訓練難題。該技術改良了原有的 DiLoCo 演算法，將本地訓練與全域同步解耦，大幅提升了對「慢節點（stragglers）」與斷線的容錯能力。這項突破讓利用全球閒置或異質算力進行超大規模模型訓練變得更加可行。