Latest in AI

Deep Learning over the Internet: Training Language Models Collaboratively

本文介紹 Hugging Face 如何利用去中心化深度學習庫 `hivemind`，在網際網路上進行協作式模型訓練。透過分散式雜湊表（DHT）與容錯演算法，全球志願者能用自己的 GPU 共同訓練出孟加拉語模型 SahajBERT。這種方法打破了大型科技公司對大模型算力的壟斷，為開源社群提供了一條去中心化訓練的新路徑。