지리공간 기반 모델의 현재 최첨단은 누구도 모른다

지리공간 기반 모델은 재난 대응, 토지 피복 맵핑 등 다양한 도메인에 재사용될 수 있지만, 평가 프레임워크가 일관되지 않아 같은 모델을 서로 다른 벤치마크/프로토콜에서 다르게 평가한다. 이로 인해 실제로 어떤 모델이 더 우수한지 판단하기 어려워 연구 방향과 자원 배분이 산만해진다. 본 논문은 152편의 논문을 감사해 공통 벤치마크의 부족, 벤치마크 간 수치 차이의 편차, 사전학습 데이터 구성의 비일관성을 지적하고, 각 이해관계자가 따를 여섯 가지 구체 권고를 제시한다.

출발점: 지리공간 데이터의 이질성(다중 스펙트럼, SAR, 다중 해상도, 다중 시점 등)으로 인해 일반적인 CV/LLM 벤치마크 체계가 불충분하다. 한계: 동일 모델·벤치마크·프로토콜에서도 제시된 수치가 서로 다르게 보고되며, 아키텍처 개선과 데이터 구성이 섞여 원인 규명이 어렵다. 해결 원리: 152편의 논문을 대상으로 체계적 메타데이터 수집과 프로토콜 고정, 코어 벤치마크의 공유,kopied-vs-rerun 표시, 불확실성 보고, 공용 하네스를 통한 재현성 강화, 데이터-아키텍처 분리 비교 등 여섯 가지 권고를 통해 비교 가능성을 높인다. 결과로서, 벤치마크 집중도는 개선되지 않았고, 같은 프로토콜에서의 점수 차이가 커지는 경우가 다수였으며, 사전학습 데이터 구성이 서로 다르다는 점이 확인된다.

패키지 1: 코퍼스 수집 및 메타데이터 구조화. 논문에서 모델·아키텍처·사전학습 데이터·Downstream 태스크·코드/가중치 공개 여부를 JSON으로 추출하고, 2차 LLM 점검으로 disagreement를 표시한다. 패키지 2: 벤치마크 집계 및 분포 분석. 401개 벤치마크, 1,046 평가 실험, Gini 계수 0.51, 상위 10개 벤치마크 비중 10.6% 등. 패키지 3: 프로토콜 고정된 다중논문 비교에서의 대비 차이 분석. 같은 모델·벤치마크·프로토콜 조합에도 5~56.6 포인트 차이가 발생하는 사례를 확인했다. 패키지 4: 사전학습 데이터 분석. 87개의 명시된 사전학습 데이터셋이 126편에서 확인되며, 같은 데이터 구성을 서로 다르게 해석하는 문제가 있음을 확인했다.

주요 결과: (i) 39%의 논문이 가중치를 공개하지 않으며, 19%는 코드 저장소만 공개하고 가중치가 없음. (ii) 152편의 논문이 401개의 벤치마크를 보고하나, 상위 벤치마크 3개(EuroSAT, NWPU-RESISC45, AID)는 전체 평가의 10.6%에만 기여. (iii) 같은 모델-벤치마크-프로토콜 조합에서도 301개 튜플 중 76건은 5pt 이상, 46건은 10pt 이상, 20건은 20pt 이상 차이가 난다. (iv) 87개 사전학습 데이터셋 중 9편은 MillionAID, 8편은 SSL4EO-S12가 가장 많이 이름을 올렸다. (v) 94편은 서로 다른 데이터 구성으로 사전학습을 수행하여 상호 비교가 어려움.

섹션 1: 연구 프레임워크 및 데이터 수집 파이프라인. 섹션 2: 152편의 메타데이터 추출과 검증 방법. 섹션 3: 트러블링 트렌드(R1–R6)의 도출 및 구체적 사례. 섹션 4: 제시된 여섯 가지 권고의 세부 내용과 리뷰어 체크리스트. 섹션 5: 대안적 관점 및 한계, 미래 방향.