本文介紹了 Hugging Face 提出的 LAVE(LLM 輔助 VQA 評估)方法,並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標(如 ANLS)因過於嚴格而不利於 Zero-shot 模型,而 LAVE 利用 LLM 作為裁判,能更公正地評估模型。結果顯示,雖然強大 LLM 的 Zero-shot 能力顯著,但在特定文檔理解任務中,微調(Fine-tuning)依然是提升中小型模型性能的關鍵。
Pollen-Vision 是一個專為機器人設計的開源視覺庫,旨在簡化 Zero-Shot(零樣本)視覺模型(如 OWL-ViT、SAM 等)的整合。它提供統一的 API,讓機器人無需重新訓練即可透過自然語言或點擊來識別與定位物體。此工具能顯著降低機器人視覺開發的門檻,加速具身智能(Embodied AI)的應用落地。
Hugging Face 宣布正式支援 Salesforce 開源的 BLIP-2 視覺語言模型。BLIP-2 透過輕量化的 Q-Former 橋接現成且凍結的圖像編碼器與大型語言模型(LLM),大幅降低訓練成本。此模型在零樣本圖像描述、視覺問答(VQA)等任務上表現優異,開發者現在可直接透過 Transformers 庫輕鬆調用。
Hugging Face 介紹了 CLIPSeg 模型,這是一個基於 CLIP 的零樣本圖像分割工具。使用者只需輸入簡單的文字提示(如「貓」或「杯子」)或參考影像,模型就能精確分割出目標物體。此技術免去了傳統分割模型需要大量標記資料與重新訓練的痛點,並已整合至 Hugging Face transformers 庫中,開發者只需幾行程式碼即可輕鬆上手。
隨著大型語言模型(LLM)體積急劇膨脹,如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作,將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本(Zero-shot)與少樣本(Few-shot)評估,這不僅簡化了評估流程,更促進了開源 AI 社群的基準測試透明度與可重複性。