OSMDA: 원격 탐사 시각-언어 모델을 위한 OpenStreetMap 기반 도메인 적응

위성 이미지 분석 AI를 구축할 때 발생하는 막대한 데이터 라벨링 비용 문제를 해결했다. 누구나 무료로 쓸 수 있는 OpenStreetMap 지도를 활용해 AI가 스스로 학습 데이터를 만들게 함으로써, 기존 유료 모델 기반 방식보다 저렴하면서도 더 뛰어난 성능을 입증했다.

기존의 위성 이미지 분석 모델은 이미지 픽셀 정보를 벡터 공간에 매핑하는 Embedding 과정을 거치지만, 텍스트와의 정렬을 위한 고품질 데이터가 부족하여 특정 지형지물을 정확히 식별하는 데 한계가 있었다. 이를 해결하기 위해 GPT-4V 같은 강력한 교사 모델을 쓰기도 하지만, 이는 비용이 많이 들고 교사 모델의 성능 한계를 넘지 못한다는 단점이 있다. 본 논문은 최신 멀티모달 모델이 이미 갖추고 있는 OCR 능력과 차트 이해 능력에 주목했다. 위성 이미지와 동일한 위치의 OpenStreetMap 지도를 나란히 보여주면, 모델은 지도의 도로명과 건물 용도를 읽어 위성 이미지에 대한 정확한 설명을 스스로 작성할 수 있다. 이렇게 생성된 데이터를 기반으로 다시 모델을 학습시키면, 나중에는 지도가 없어도 위성 이미지 하나만 보고도 전문가 수준의 분석을 수행하게 된다. 이는 외부 도움 없이 데이터의 힘만으로 도메인 지식을 습득하는 자기 주도 학습의 실현이다.

데이터 큐레이션 단계에서는 SkyScript 데이터셋에서 150만 개의 위성 이미지를 확보하고 OpenStreetMap(OSM)에서 해당 위치의 지리 객체 태그를 수집한다. 가시성 휴리스틱을 적용해 위성에서 보이지 않는 정보를 제거하고 개인정보를 익명화한다. 지도 렌더링 단계에서는 필터링된 OSM 태그를 Qwen2.5-72B를 이용해 자연스러운 단어로 변환한 뒤, Mapnik 라이브러리를 사용하여 위성 이미지와 픽셀 단위로 일치하는 래스터 지도 타일을 생성한다. 데이터 불균형을 해결하기 위해 Meta-CLIP 알고리즘을 사용하여 이미지의 객체 빈도 f와 전체 객체 수 N을 입력으로 하여 1/f 가중치를 계산한다. 빈도가 낮은 객체가 포함된 이미지일수록 높은 가중치를 얻게 되며, 이 가중치를 기반으로 샘플링을 수행하여 데이터셋 내 희귀 객체의 비중을 높인다. 마지막으로 InternVL3.5-8B 모델에 위성 이미지와 지도를 동시에 입력하여 상세한 지리적 캡션을 생성하고, 이 합성 데이터와 실제 벤치마크 데이터를 1:1 비율로 섞어 LoRA 방식으로 파인튜닝한다.

OSMDA-VLM은 10개의 벤치마크 중 6개에서 1위를 차지했으며, 거의 모든 평가에서 Top-3 안에 드는 성능을 보였다. 특히 고해상도 세부 이해가 필요한 RSVQA-HR, VRSBench, XLRSBench 등 난이도가 높은 과제에서 기존 모델들을 큰 차이로 앞질렀다. 비용 측면에서 EarthDial($3330)이나 LHRS-Bot-nova($2260) 등 수천 달러의 API 비용이 발생한 기존 방식과 달리, OSMDA는 약 $400 수준의 자체 호스팅 비용만으로 20만 개의 고품질 데이터를 생성하여 경제성을 입증했다. Ablation Study 결과, 단순히 더 큰 교사 모델로부터 지식을 전수받는 것보다 OSM 지도를 직접 참조하여 스스로 캡션을 생성하는 방식이 하위 작업 성능 향상에 더 효과적임이 확인됐다.

OSMDA-VLM은 InternVL3.5-8B를 백본으로 사용하며, 시각 인코더와 언어 모델 간의 정렬을 위해 LoRA(rank=16) 기법을 적용했다. 학습 시에는 위성 이미지와 지도를 함께 보며 생성한 20만 개의 합성 캡션과 실제 벤치마크 데이터를 혼합하여 도메인 지식 주입과 작업 적응을 동시에 꾀했다. 데이터 불균형 문제를 해결하기 위해 Meta-CLIP 기반의 확률적 큐레이션과 DINOv3 임베딩을 활용한 K-means 클러스터링을 도입했다. 이를 통해 건물, 도로 같은 흔한 객체에 편향되지 않고 헬기 착륙장, 소금 습지 같은 희귀 지형에 대해서도 모델이 학습할 수 있도록 데이터 분포를 조정했다. 기존 모델들이 특정 지시어 형식에 과적합되어 발생하는 지시어 취약성 문제를 해결하기 위해, 캡션 생성 시 온도(Temperature)를 1.0으로 설정하여 언어적 다양성을 확보했다.

OpenStreetMap 데이터 자체가 희소한 지역에서는 생성된 캡션의 상세도가 떨어지는 경향이 있다. 또한 지도의 표현 방식에 따른 편향이 모델에 전이되어, 특정 단어 선택이나 경계 인식에서 지도의 특성을 그대로 따르는 한계가 관찰됐다.