🔥 Trending today
Waypoint-1.5: Higher-Fidelity Interactive Worlds for Everyday GPUs★ 75
Hugging Face Blog54d agoReleaseHugging Face 發表 Waypoint-1.5，這是一款專為消費級 GPU 優化的互動式世界模擬器。相較於前代，它在提升視覺與物理保真度的同時，大幅降低了硬體門檻。這讓研究人員與開發者能在單張家用顯示卡上，高效進行具身智能（Embodied AI）與強化學習代理的訓練，加速 AI 與物理世界互動的研究。
Custom Kernels for All from Codex and Claude★ 80
Hugging Face Blog109d agoNew ToolHugging Face 發表最新技術，展示如何讓 AI Agent（如基於 smolagents 框架）具備編寫自訂 CUDA/Triton Kernel 的「技能」。透過將編譯器、正確性驗證與基準測試（Benchmarking）工具整合為 Agent 的 Tool，Agent 能自主撰寫低階 GPU 程式碼、讀取錯誤訊息進行 Debug，並持續優化效能。這項突破大幅降低了 GPU 算子開發的門檻。
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL★ 85
Hugging Face Blog364d agoReleaseHugging Face 的 TRL 團隊推出與 vLLM 協同部署（Co-located）的新功能。在進行線上強化學習（如 PPO、GRPO）訓練時，生成階段常是效能瓶頸。透過在相同 GPU 上同時運行訓練與 vLLM 推理引擎，此技術能無縫共享權重並利用 vLLM 的高效生成能力，顯著提升 GPU 利用率並縮短整體訓練時間。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。