Hugging Face 發表最新「Upskill」專案,展示如何利用 Claude 3.5 等強大商用模型生成複雜的 CUDA 核心(Kernel)程式碼與測試案例。透過這套包含編譯與效能驗證的自動化管線,他們篩選出高品質的合成數據,並成功用來微調開源模型,大幅提升開源社群在極具挑戰性的 GPU 硬體加速編程任務上的表現。
量化資產管理公司 CFM 與 Hugging Face 合作,探索如何在金融領域高效應用 AI。他們並未直接在生產環境部署昂貴的大型 LLM,而是利用大模型生成高質量的標註數據與洞察,進而微調專門的小型模型(SLM)。這種「知識蒸餾」策略不僅大幅降低了推理成本與延遲,還在特定金融 NLP 任務上保持了極高的準確度。
Google 聯合 Hugging Face 推出新一代開源模型 Gemma 2,提供 9B 與 27B 兩種參數規格。27B 版本在同量級中表現極為優異,甚至能與體積兩倍大的模型競爭;9B 版本也超越了 Llama 3 8B。此系列模型採用知識蒸餾與混合注意力機制,並已在 Hugging Face 生態系中獲得全面支援。
Hugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small(約 5.11 億參數)與 SD-Tiny(約 3.23 億參數)的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數,這些模型在保留高圖像質量的同時,實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻,也讓開發者能自行蒸餾客製化的 SD 模型。