本期 Import AI 聚焦三大前沿:首先是 ByteDance 開發出能自動編寫與優化 CUDA 程式碼的 Agent,大幅降低 GPU 效能調校門檻;其次是探討在衛星上直接運行 AI 模型(邊緣運算)的技術進展;最後,作者藉由烏克蘭無人機戰事,深刻反思未來首場真正的「AI 戰爭」將於何時、以何種形式爆發。
Hugging Face 發表最新技術,展示如何讓 AI Agent(如基於 smolagents 框架)具備編寫自訂 CUDA/Triton Kernel 的「技能」。透過將編譯器、正確性驗證與基準測試(Benchmarking)工具整合為 Agent 的 Tool,Agent 能自主撰寫低階 GPU 程式碼、讀取錯誤訊息進行 Debug,並持續優化效能。這項突破大幅降低了 GPU 算子開發的門檻。
Hugging Face 發表最新「Upskill」專案,展示如何利用 Claude 3.5 等強大商用模型生成複雜的 CUDA 核心(Kernel)程式碼與測試案例。透過這套包含編譯與效能驗證的自動化管線,他們篩選出高品質的合成數據,並成功用來微調開源模型,大幅提升開源社群在極具挑戰性的 GPU 硬體加速編程任務上的表現。
Hugging Face 推出實用指南,協助開發者克服自訂 GPU 算子的開發門檻。文章深入探討如何從零開始撰寫 CUDA Kernel,並介紹如何利用 OpenAI Triton 簡化開發流程。最後,指南展示了如何將這些自訂算子無縫整合至 PyTorch 中,並透過 Profiling 工具進行效能調優,以達到生產環境的擴展需求。
Hugging Face 全新推出 Kernel Hub(hf-kernels),旨在解決深度學習自訂算子碎片化的問題。開發者現在可以像分享模型一樣,在平台上發布、版本控制與下載優化過的 CUDA 或 Triton 算子。這項工具能透過簡單的 API 實現動態編譯與載入,大幅簡化模型推理與訓練的硬體加速流程,是 AI 系統優化工程師的全新利器。