RemoteZero: 인간의 어노테이션 없이 수행하는 지리공간 추론

원격 탐사 데이터 분석에서 가장 큰 병목 현상인 수작업 좌표 라벨링 문제를 해결합니다. 모델이 스스로 생성한 결과를 검증하고 학습하는 자기 진화 메커니즘을 통해 방대한 양의 미라벨링 위성 영상을 학습 데이터로 활용할 수 있는 길을 열었습니다.

기존의 지리공간 추론 모델은 위성 이미지에서 특정 위치를 찾기 위해 인간이 직접 그린 바운딩 박스 좌표를 정답으로 삼아 학습했다. 하지만 이러한 방식은 데이터 구축 비용이 매우 높고, 모델이 정해진 정답 패턴에만 매몰되는 한계가 있다. Transformer 기반의 MLLM은 학습 과정에서 수많은 텍스트-이미지 쌍을 보며 자라기 때문에, 특정 이미지가 설명과 일치하는지 확인하는 '검증' 능력은 뛰어나지만 정밀한 좌표 숫자를 뱉어내는 '생성' 능력은 상대적으로 부족한 비대칭성을 보인다.

RemoteZero는 이 점을 역이용한다. 모델이 스스로 추론을 거쳐 특정 지역의 좌표를 제안하면, 그 부분만 잘라내어(Crop) 다시 모델 자신에게 '이 사진이 네가 찾던 곳이 맞니?'라고 물어본다. 이때 모델이 내놓는 확신도 점수를 강화학습의 보상으로 활용한다. 즉, 정답 좌표를 알려주는 대신 모델 내부의 풍부한 시각-언어 지식을 활용해 스스로의 행동을 교정하게 만드는 원리이다.

이 과정이 반복되면 모델은 더 정확한 위치를 제안하게 되고, 더 정확해진 모델은 다시 더 엄격한 검증기가 되어 전체 시스템의 성능을 끌어올린다. 결과적으로 인간의 개입 없이도 모델이 스스로 지리적 맥락을 이해하고 정밀한 위치를 찾아내는 능력을 갖추게 된다.

RemoteZero는 Generate-Crop-Verify로 구성된 폐쇄 루프 시스템을 통해 학습을 진행한다. 먼저 Solver 역할을 하는 모델이 쿼리 Q와 이미지 I를 입력받아 추론 체인과 예측 바운딩 박스 b를 생성한다. [이미지와 쿼리 입력 → 모델 추론 → 좌표값 출력 → 예측 위치 결정]

예측된 바운딩 박스 b를 기반으로 원본 이미지에서 해당 영역을 추출하는 결정론적 크로핑 연산 T를 수행한다. 이때 주변 맥락을 유지하기 위해 여백 비율 α를 적용하여 I_crop을 생성한다. [좌표값과 이미지 입력 → 여백 포함 크롭 연산 → 부분 이미지 출력 → 검증용 데이터 준비]

추출된 I_crop은 Verifier 모델 V에 입력되어 쿼리 Q와의 의미적 일치 여부를 판별한다. Verifier는 0에서 1 사이의 신뢰도 점수 s를 출력하며, 여기에 너무 큰 영역을 선택하지 않도록 면적 페널티를 결합하여 최종 보상 r을 계산한다. [부분 이미지와 쿼리 입력 → 이진 분류/확신도 계산 → 점수 출력 → 강화학습용 보상 확정]

최종적으로 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 이 보상을 극대화하는 방향으로 모델의 정책 πθ를 업데이트한다. 특히 자기 진화(Self-Evolution) 단계에서는 이전 라운드(k-1)의 모델을 현재 라운드(k)의 Verifier로 고정하여 사용함으로써 점진적인 성능 향상을 유도한다.

EarthReason 벤치마크 실험 결과, RemoteZero(Self-Evolution)는 Acc@0.5 지표에서 71.29%를 기록했다. 이는 강력한 지도 학습 기반 모델인 RemoteReasoner(68.11%)를 3.18%p 앞지른 수치이며, Qwen2.5-VL-7B(45.82%)와 같은 범용 MLLM보다 압도적으로 우수한 성능을 보였다.

Ablation Study를 통해 면적 페널티(Area Penalty)의 중요성이 입증됐다. 검증 점수만 사용할 경우 모델이 정답을 포함할 확률을 높이기 위해 무조건 큰 박스를 그리는 경향이 있었으나, 면적 페널티를 추가하자 Acc@0.5가 65.20%에서 69.96%로 향상되며 더 정밀한 위치 탐지가 가능해졌다.

또한 크로핑 전략에서 타겟 영역만 엄격하게 자르는 것(Strict Crop, 64.61%)보다 15%의 여백을 두는 것(Context Crop, 69.96%)이 더 효과적이었다. 이는 지리공간 추론 시 주변 지형물이나 도로 등의 맥락 정보가 의미 검증에 필수적임을 시사한다.

RemoteZero는 GRPO를 핵심 최적화 엔진으로 채택하여 기존 PPO의 비판적 모델(Critic) 없이도 효율적인 정책 학습을 수행한다. 아키텍처는 Qwen3-VL-8B-Instruct를 베이스로 하며 LoRA 파인튜닝을 통해 지리공간 특화 지식을 주입한다.

핵심 차별점은 'Eye > Hand' 비대칭성을 보상 설계에 직접 반영했다는 점이다. 고차원 연속 공간에서의 좌표 회귀(High-Entropy) 대신, 저차원 이진 결정인 의미 검증(Low-Entropy)을 보상 신호로 전환함으로써 학습의 안정성을 확보했다. 이는 정보 이론적으로 더 단순한 문제를 해결함으로써 더 복잡한 문제를 가이드하는 구조이다.

자기 진화 메커니즘은 지식 증류(Knowledge Distillation)와 자기 개선(Self-improvement)을 통합한다. 초기에는 외부의 강력한 모델을 Verifier로 쓰다가 점차 자신의 이전 버전을 Verifier로 대체하는 부트스트래핑 과정을 거친다. 구현 상으로는 8개의 GPU와 DeepSpeed ZeRO-2를 활용하여 10 에포크 동안 학습을 진행하며, 배치 사이즈 6과 그래디언트 누적 8을 설정하여 안정적인 수렴을 도모했다.

현재의 검증기 보상은 의미적 정확성에 치중되어 있어 바운딩 박스의 정밀한 경계 보정(Calibration) 능력은 다소 부족하다. 또한 반복적인 자기 진화 과정에서 이전 회차의 검증기가 체계적인 오류를 범할 경우 편향이 누적될 위험이 있다. 마지막으로 크롭 기반 검증 방식은 전역적인 공간 관계를 완벽하게 포착하지 못할 수 있다는 한계가 존재한다.