🔥 Trending today
Import AI 439: AI kernels; decentralized training; and universal representations ★ 75
Import AI (Jack Clark)148d agoCommentary本期 Import AI 439 聚焦於三大前沿議題：首先是優化底層運算的 AI 內核（Kernels）技術；其次是因應算力瓶頸而興起的去中心化 AI 訓練方法；最後是跨模態的通用表徵研究。此外，專欄也以哲學視角探討了未來的超級智能（ASI）可能會如何在高度抽象的向量空間中，建構與理解人類所謂的「靈魂」。
Deep Learning over the Internet: Training Language Models Collaboratively
Hugging Face Blog1783d agoRelease本文介紹 Hugging Face 如何利用去中心化深度學習庫 `hivemind`，在網際網路上進行協作式模型訓練。透過分散式雜湊表（DHT）與容錯演算法，全球志願者能用自己的 GPU 共同訓練出孟加拉語模型 SahajBERT。這種方法打破了大型科技公司對大模型算力的壟斷，為開源社群提供了一條去中心化訓練的新路徑。