Notes from inside China's AI labs★ 75
Interconnects (Nathan L.)26d agoCommentary知名 AI 專家 Nathan Lambert 親自走訪中國多家領先的 AI 實驗室（如 DeepSeek、智譜 AI、零一萬物等），分享第一手觀察。他指出，面對美國嚴苛的晶片制裁，中國實驗室展現出驚人的系統級工程與架構優化能力，並以極低成本推動開源模型（如 Qwen 與 DeepSeek）的快速迭代。然而，嚴格的政府監管審查與對即時商業變現的焦慮，也形塑了與矽谷截然不同的 AI 發展生態。
Mixture of Experts (MoEs) in Transformers★ 82
Hugging Face Blog96d agoTutorialHugging Face 深入解析 Transformer 中的混合專家模型 (MoE) 架構。MoE 透過稀疏門控網路將 Token 分流至特定「專家」FFN，實現「高總參數、低計算量」的優勢。本文探討其核心組件、訓練與推理挑戰（如 VRAM 佔用與路由失衡），是理解 Mixtral 與 DeepSeek 等主流模型的必讀指南。
How much does distillation really matter for Chinese LLMs?★ 75
Interconnects (Nathan L.)98d agoCommentary本文探討知識蒸餾（Distillation）在中國大語言模型（如 DeepSeek、Qwen）發展中扮演的角色。針對 Anthropic 近期將蒸餾視為「安全攻擊」的報告，作者指出，雖然蒸餾確實加速了模型對齊，但中國 LLM 的成功更多歸功於其強大的預訓練底座與強化學習（RL）創新。將蒸餾單純簡化為「抄襲」或「攻擊」，忽略了其作為標準機器學習技術的本質，也低估了中國團隊的工程實力。
The Future of the Global Open-Source AI Ecosystem: From DeepSeek to AI+★ 78
Hugging Face Blog119d agoCommentary適逢 DeepSeek 震撼科技界一週年，Hugging Face 發文回顧這一關鍵轉折點對全球開源生態系的深遠影響。 文章指出，DeepSeek 證明了高性價比開源推理模型的可行性，並加速了去中心化與開源社群的協同創新。 展望未來，開源 AI 將從單一模型競爭轉向「AI+」時代，強調多模態、Agent 應用與各行各業的深度整合。
Architectural Choices in China's Open-Source AI Ecosystem: Building Beyond DeepSeek★ 85
Hugging Face Blog126d agoCommentary在「DeepSeek 時刻」屆滿一週年之際，Hugging Face 發文探討中國開源 AI 生態系的技術演進。文章深入分析了中國各大 AI 團隊（如 Qwen、GLM、Yi 等）如何超越 DeepSeek 的既有框架，在混合專家模型（MoE）、多頭潛在注意力（MLA）以及強化學習（GRPO）等架構上進行抉擇與創新。這些技術選擇不僅是為了應對算力限制，更重塑了全球開源 AI 的高效率與低成本標準。
One Year Since the “DeepSeek Moment”★ 85
Hugging Face Blog133d agoCommentary2025 年初的「DeepSeek 時刻」以超低訓練成本與強大推理能力震驚全球。一年過去，Hugging Face 回顧了這場變革對開源社群的深遠影響，包括 GRPO 強化學習演算法的普及、MoE 架構的廣泛應用，以及全球開發者如何擺脫對閉源巨頭的依賴，走向更自主、高效的本地部署與微調時代。這標誌著 AI 發展從「算力軍備競賽」走向「演算法與效率至上」的新紀元。
A Short Summary of Chinese AI Global Expansion★ 75
Hugging Face Blog607d agoCommentary隨著 Qwen、DeepSeek、Yi 等中國開源模型在 Hugging Face 排行榜上名列前茅，中國 AI 勢力正加速全球擴張。這些模型憑藉強大的多語言能力、數學與程式碼推理性能，以及極高的性價比，成為全球開發者在 Llama 之外的重要選擇。本文總結了中國 AI 透過開源生態系打破地理限制、走向國際的關鍵策略與面臨的挑戰。