ESARBench: 에이전트형 UAV 체화 탐색 및 구조를 위한 벤치마크

기존의 무인 항공기(UAV) 구조 방식은 단순한 경로 계획에 의존해 복잡한 환경에서의 추론 능력이 부족했다. 이 논문은 실제 지형 데이터를 기반으로 한 고정밀 시뮬레이션 환경을 제공하여, AI 에이전트가 시각적 단서를 찾고 조난자의 위치를 스스로 추론하는 능력을 평가할 수 있는 표준을 제시한다.

기존의 드론 제어는 주로 A* 알고리즘과 같은 경로 탐색이나 단순 객체 검출에 의존했다. 하지만 실제 구조 상황에서는 '강가에서 마지막으로 목격되어 오르막으로 이동 중'이라는 추상적인 정보를 바탕으로 텐트나 배낭 같은 단서를 찾아내고, 이를 통해 조난자의 위치를 예측하는 고차원적인 추론이 필요하다.

이 논문은 MLLM의 강력한 의미론적 이해 능력을 UAV의 물리적 제어와 결합하는 '체화된 에이전트' 관점을 도입한다. 에이전트는 카메라로 입력되는 시각적 임베딩을 분석하여 주변 환경의 맥락을 파악하고, 이를 과거의 맥락과 결합하여 다음 행동을 결정한다. 예를 들어, 산길 옆에서 텐트를 발견하면 조난자가 근처에 있을 확률이 높다고 판단하여 정밀 수색 모드로 전환하는 방식이다.

결과적으로 지상 로봇용으로 설계된 기존 정책들을 단순히 항공 환경으로 옮기는 것만으로는 부족하며, 3D 공간에 대한 이해와 효율적인 탐색 전략이 통합되어야 함을 보여준다. 이는 AI가 단순한 도구를 넘어 능동적인 구조 대원으로서 동작할 수 있는 기술적 토대를 마련한다.

UAV-ESAR 시뮬레이터는 Unreal Engine 5(UE5)의 고정밀 렌더링과 AirSim의 항공 역학 시뮬레이션을 통합하여 구축됐다. 실제 중국의 주요 사고 발생지 4곳의 GIS 데이터를 ALOS PALSAR 12m 디지털 고도 모델(DEM)로 변환하여 2km x 2km에서 5km x 5km 규모의 광활한 3D 지형을 재현했다. [위성 이미지 및 고도 데이터 입력 → UE5 지형 생성 → 실제 지형과 일치하는 3D 환경 출력]

과업 생성은 '사건-스냅샷-태스크'의 3단계 계층 구조를 따른다. 실제 구조 사례를 바탕으로 12가지 유형의 미션 크리티컬 단서(텐트, 배낭, 옷 등)를 배치하고, 13가지 기상 조건과 시간대 변화를 적용하여 환경적 변동성을 극대화했다. [실제 구조 시나리오 입력 → 시간대별 정적 스냅샷 분할 → 기상 및 시작 위치 변동 적용 → 600개의 독립적 태스크 생성]

에이전트의 의사결정 프로세스는 현재 관측값(Ot), 내부 상태(St), 텍스트 프롬프트(P), 과거 맥락(Ht)을 입력으로 받아 비행 동작(At+1)과 발견된 단서 정보(Mt+1)를 동시에 출력하는 결합 정책 함수로 공식화된다. [시각/상태/텍스트 입력 → MLLM 추론 → 비행 제어 및 단서 보고 출력]

실험 결과, 최신 MLLM 기반 에이전트인 APEX가 성공률(SR) 13.89%, 종합 구조 점수(RS) 13.45로 가장 우수한 성능을 보였다. 하지만 이는 여전히 인간의 구조 효율성에 비해 매우 낮은 수치로, ESAR 과업의 높은 난이도를 시사한다. 특히 지상용 ObjectNav 모델을 항공 환경에 그대로 적용했을 때 성능이 급격히 저하되는 현상이 관찰되어 항공 환경 특화 모델의 필요성이 확인됐다.

Ablation Study를 통해 MLLM 기반 모델들이 비-MLLM 모델들에 비해 단서 발견 점수(CDS)에서 평균 3.48 대 2.70으로 우위를 점함을 확인했다. 이는 구조 상황에서 시각적 객체의 의미를 해석하고 추론하는 능력이 필수적임을 나타낸다. 또한, 난이도가 높아질수록(Extreme 단계) 대부분의 모델이 성공률 0%에 수렴하여, 극한 기상 조건과 복잡한 지형에서의 강건성 확보가 향후 주요 과제임을 드러냈다.

에이전트의 성능은 네 가지 핵심 지표로 평가된다. 성공률(SR)은 헝가리안 알고리즘(Hungarian Algorithm)을 사용하여 예측 좌표와 실제 위치 간의 최적 매칭을 계산한다. [예측/실제 좌표 쌍 입력 → 거리 기반 비용 행렬 생성 → 최소 비용 매칭 → 임계값 이내 성공 판정]. 시간 가중 성공률(TSR)은 미션 완료 시간(T)과 최대 허용 시간(Tmax)의 비율을 성공률에 곱해 효율성을 측정한다.

단서 발견 점수(CDS)는 공간적 위치 정확도(Cloc)와 의미론적 일치도(Cexact)를 5:5 비율로 합산한다. 특히 의미론적 일치는 LLM 평가기를 사용하여 에이전트가 보고한 텍스트와 정답 단서 명칭 간의 의미적 유사성을 검증한다. [보고된 단서 텍스트 입력 → LLM 의미 비교 → 일치 여부 판정].

종합 구조 점수(RS)는 비행 안전성(Isafe), 탐색 효율성(Et), 단서 발견(CDS)을 가중치 합산하여 산출한다. 실험에서는 안전성(0.1), 기본 성공(0.3), 시간 효율(0.3), 단서 발견(0.3)의 가중치를 적용하여 에이전트의 종합적인 구조 역량을 수치화했다.

에이전트들이 멀티 타겟 미션의 완료 여부를 스스로 판단하는 메커니즘이 부족하며, 탐색 능력 보존과 비행 효율성 사이의 균형을 맞추는 데 어려움을 겪는 것으로 나타났다. 또한 현재 벤치마크는 정적인 스냅샷 기반으로, 실시간으로 이동하는 조난자 시나리오는 제한적으로 다루고 있다.