Latest in AI

How much does distillation really matter for Chinese LLMs?★ 75

本文探討知識蒸餾（Distillation）在中國大語言模型（如 DeepSeek、Qwen）發展中扮演的角色。針對 Anthropic 近期將蒸餾視為「安全攻擊」的報告，作者指出，雖然蒸餾確實加速了模型對齊，但中國 LLM 的成功更多歸功於其強大的預訓練底座與強化學習（RL）創新。將蒸餾單純簡化為「抄襲」或「攻擊」，忽略了其作為標準機器學習技術的本質，也低估了中國團隊的工程實力。