法國 AI 新創 H Company 發表全新 Holo2-235B 模型,在 UI 元素定位(UI Localization)任務上取得領先。該模型擁有 2350 億參數,旨在精準識別與定位網頁及應用程式中的互動元件。這項突破將大幅提升 GUI 運作型 Agent(如自動操作電腦的 AI)的執行效率與準確度,是自動化工作流與 AI 代理領域的重要進展。
Hugging Face 發表 Smol2Operator,這是一套針對「電腦操作(Computer Use)」設計的後訓練 GUI 代理方案。基於輕量級視覺語言模型(如 SmolVLM),透過特定的監督微調(SFT)與強化學習,使其能精準識別螢幕元素並執行點擊、輸入等操作。此項目開源了模型權重與訓練方法,讓開發者能在消費級硬體上部署隱私安全、低延遲的本地 GUI 代理。
Hugging Face 介紹了 ScreenEnv,這是一個旨在簡化「電腦使用(Computer Use)」AI 代理部署的開源環境。它提供類似 Gym 的標準化接口,讓開發者能在安全的虛擬桌面(如 Docker/VM)中,利用多模態模型(如 Claude 或 GPT)進行滑鼠、鍵盤與螢幕視覺的完整互動,非常適合開發自動化工作流與 GUI 代理。
Hugging Face 發表了 ScreenSuite,這是目前最全面的圖形使用者介面(GUI)Agent 評估套件。它解決了現有評估工具平台單一、任務簡單的問題,提供跨 Web、桌面與行動裝置的標準化測試環境。ScreenSuite 整合了多樣化的真實世界任務與嚴格的評估指標,幫助開發者精確衡量 Agent 的視覺導航與操作能力。