Google DeepMind 推出全新 AI 基礎模型 AlphaEarth Foundations,旨在解決地球觀測數據零散且格式不一的挑戰。該模型整合了數 PB 的衛星影像與地理空間數據,建立統一的數據表徵。這項技術將大幅提升全球地圖繪製、環境變遷追蹤及氣候監測的精度與效率,為科學研究與防災應用提供強大支援。
本文探討如何針對遙測(衛星)影像微調 OpenAI 的 CLIP 多模態模型。由於通用 CLIP 在處理俯視、高空等特殊視角的衛星影像時表現不佳,研究團隊利用 RSICD 數據集與 JAX/Flax 框架進行微調。微調後的模型能顯著提升衛星影像的文本檢索與分類準確度,為地理資訊與遙測領域提供強大的開源工具。