Fine tuning CLIP with Remote Sensing (Satellite) images and captions

本文介紹如何使用 RSICD 數據集微調 CLIP 模型，使其能精確理解與檢索遙測（衛星）影像。

本文探討如何針對遙測（衛星）影像微調 OpenAI 的 CLIP 多模態模型。由於通用 CLIP 在處理俯視、高空等特殊視角的衛星影像時表現不佳，研究團隊利用 RSICD 數據集與 JAX/Flax 框架進行微調。微調後的模型能顯著提升衛星影像的文本檢索與分類準確度，為地理資訊與遙測領域提供強大的開源工具。

摘要由 AI 整理,以原文為準。