Hugging Face 發表 Waypoint-1.5,這是一款專為消費級 GPU 優化的互動式世界模擬器。相較於前代,它在提升視覺與物理保真度的同時,大幅降低了硬體門檻。這讓研究人員與開發者能在單張家用顯示卡上,高效進行具身智能(Embodied AI)與強化學習代理的訓練,加速 AI 與物理世界互動的研究。
Hugging Face 發表最新技術,展示如何讓 AI Agent(如基於 smolagents 框架)具備編寫自訂 CUDA/Triton Kernel 的「技能」。透過將編譯器、正確性驗證與基準測試(Benchmarking)工具整合為 Agent 的 Tool,Agent 能自主撰寫低階 GPU 程式碼、讀取錯誤訊息進行 Debug,並持續優化效能。這項突破大幅降低了 GPU 算子開發的門檻。
Hugging Face 的 TRL 團隊推出與 vLLM 協同部署(Co-located)的新功能。在進行線上強化學習(如 PPO、GRPO)訓練時,生成階段常是效能瓶頸。透過在相同 GPU 上同時運行訓練與 vLLM 推理引擎,此技術能無縫共享權重並利用 vLLM 的高效生成能力,顯著提升 GPU 利用率並縮短整體訓練時間。
Hugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型(如 Llama 3),就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器(Adapters)。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本,並透過優化的批處理技術確保低延遲,是 LLMOps 領域的重大優化。