🔥 Trending today
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?★ 75
Hugging Face Blog677d agoPaper本文介紹了 Hugging Face 提出的 LAVE（LLM 輔助 VQA 評估）方法，並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標（如 ANLS）因過於嚴格而不利於 Zero-shot 模型，而 LAVE 利用 LLM 作為裁判，能更公正地評估模型。結果顯示，雖然強大 LLM 的 Zero-shot 能力顯著，但在特定文檔理解任務中，微調（Fine-tuning）依然是提升中小型模型性能的關鍵。
Docmatix - a huge dataset for Document Visual Question Answering★ 75
Hugging Face Blog684d agoReleaseHugging Face 發表了專為文件視覺問答（DocVQA）設計的超大型開源數據集 Docmatix。該數據集規模比現有同類數據集大上百倍，包含 240 萬張文件圖片及 950 萬個高質量的問答對。Docmatix 的推出解決了多模態模型在處理複雜 PDF、報表等視覺文件時微調數據不足的痛點，將顯著提升開源視覺語言模型（VLM）的文件解析與問答能力。