The distillation panic★ 75
Interconnects (Nathan L.)29d agoOpinion近期 AI 業界出現將「知識蒸餾（Distillation）」稱為「蒸餾攻擊（Distillation attacks）」的趨勢。 這反映了閉源模型廠商（如 OpenAI、Anthropic）面對開源模型透過合成數據快速追趕時的焦慮。 作者 Nathan Lambert 指出，將這種行之有年的機器學習技術與商業競爭行為「安全化（securitize）」，試圖將其塑造成惡意網路攻擊，是非常糟糕且誤導的術語，旨在為法律訴訟或技術封鎖鋪路。
How much does distillation really matter for Chinese LLMs?★ 75
Interconnects (Nathan L.)98d agoCommentary本文探討知識蒸餾（Distillation）在中國大語言模型（如 DeepSeek、Qwen）發展中扮演的角色。針對 Anthropic 近期將蒸餾視為「安全攻擊」的報告，作者指出，雖然蒸餾確實加速了模型對齊，但中國 LLM 的成功更多歸功於其強大的預訓練底座與強化學習（RL）創新。將蒸餾單純簡化為「抄襲」或「攻擊」，忽略了其作為標準機器學習技術的本質，也低估了中國團隊的工程實力。
Open models in perpetual catch-up★ 80
Interconnects (Nathan L.)105d agoOpinion本文探討開源與閉源 AI 模型之間的動態關係。開源模型（如 Llama、DeepSeek）常利用閉源模型的輸出進行「蒸餾」來快速追趕，但這也讓它們始終落後一步。儘管如此，開源模型憑藉著低成本、高客製化與強大的開發者生態，在實用普及度上依然能取得勝利。然而，要打破這種「永久追趕」的狀態，開源社群仍需在基礎架構創新與自主強化學習（RL）上取得突破。
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models★ 75
Hugging Face Blog195d agoReleaseServiceNow AI 發表最新研究「Apriel-H1」，聚焦於如何將大型推理模型（如具備強大 Chain-of-Thought 能力的模型）的推理能力，高效蒸餾至尺寸較小、運行成本更低的實用模型中。該研究指出了一個過去被忽視的「驚人關鍵」，能顯著提升小模型在複雜邏輯與數學推理任務上的表現，為企業級 AI 落地提供更具成本效益的解決方案。
Open-R1: a fully open reproduction of DeepSeek-R1★ 90
Hugging Face Blog490d agoReleaseHugging Face 宣布啟動 Open-R1 專案，目標是完全重現 DeepSeek-R1 的推理能力。該專案將開源所有訓練配方、資料集與模型權重，並利用 TRL 框架中的 GRPO 演算法進行強化學習。這項計畫將降低開發者構建高效推理模型的門檻，推動開源 AI 社群的推理模型民主化。
Snorkel AI x Hugging Face: unlock foundation models for enterprises
Hugging Face Blog1153d agoBusinessSnorkel AI 與 Hugging Face 宣布合作，旨在解決企業應用基礎模型（Foundation Models）時面臨的領域數據不足挑戰。透過將 Snorkel Flow 的程式化標註技術與 Hugging Face 的開源模型庫結合，企業能快速標註私有數據並進行模型微調。此方案不僅能加速企業級 AI 應用的開發，還能透過模型蒸餾技術降低推理成本，實現高效且安全的落地部署。
How we sped up transformer inference 100x for 🤗 API customers
Hugging Face Blog1961d agoReleaseHugging Face 揭密其加速推理 API 的技術細節，成功將 Transformer 模型推理速度提高 100 倍。 核心方法結合了模型蒸餾（如 DistilBERT）、ONNX Runtime 的計算圖最佳化，以及 INT8 動態量化與半精度（FP16）技術。 此方案不僅大幅降低延遲至個位數毫秒級，也顯著降低了雲端部署成本，為開發者提供高效且經濟的 NLP 模型部署方案。