CARLA-AIR: CARLA 월드에서 드론 비행하기 - 지상-공중 통합형 임바디드 인텔리전스를 위한 통합 인프라

자율주행차와 드론을 동시에 시뮬레이션하기 위해 기존에는 서로 다른 프로그램을 복잡하게 연결해야 했으나, 이 논문은 이를 하나의 시스템으로 통합했다. 데이터 전송 지연을 0.5ms 미만으로 줄이고 지상과 공중 에이전트 간의 완벽한 물리적·시간적 동기화를 구현하여 협력형 AI 연구의 효율성을 극대화한다.

기존의 시뮬레이션 환경은 자율주행(CARLA)과 드론 비행(AirSim)으로 도메인이 분리되어 있었다. 두 환경을 동시에 사용하려면 브릿지(Bridge) 방식의 공동 시뮬레이션을 사용해야 했는데, 이는 데이터 직렬화와 네트워크 통신으로 인해 지연 시간이 발생하고 프레임 간 물리적 상태가 어긋나는 한계가 있었다. 이는 특히 정밀한 협력이 필요한 임바디드 인텔리전스 연구에서 치명적인 문제로 작용한다.

CARLA-Air는 Unreal Engine의 'GameMode' 제약을 해결하여 이 문제를 풀었다. 엔진 수준에서 지상 시뮬레이션 시스템을 상속받으면서 공중 비행 액터를 일반 월드 엔티티로 생성하는 구성을 채택했다. 이를 통해 모든 에이전트가 동일한 물리 틱(Physics Tick)과 렌더링 파이프라인을 공유하게 된다. 즉, 지상 차량과 드론이 동일한 물리 법칙과 렌더링 주기 안에서 공존하게 된 것이다.

결과적으로 데이터 전송 오버헤드가 0.5ms 미만으로 유지되며, 지상 차량과 드론이 동일한 조명, 날씨, 교통 상황 속에서 완벽하게 동기화된 센서 데이터를 생성할 수 있게 된다. 이는 복잡한 협력형 강화학습이나 멀티모달 데이터셋 구축에 필수적인 기반을 제공하며, 연구자가 인프라 구축보다 알고리즘 개발에 집중할 수 있는 환경을 조성한다.

CARLA-Air는 단일 프로세스 아키텍처를 기반으로 한다. Unreal Engine 4는 월드당 하나의 GameMode만 허용하므로, CARLAAirGameMode를 도입하여 CARLA의 지상 시스템을 상속받고 AirSim의 비행 로직을 Composition 방식으로 통합했다. [CARLA 시스템 상속 → AirSim 액터 포함 → 단일 엔진 실행] 과정을 통해 리소스 충돌을 방지하고 두 시뮬레이터의 기능을 동시에 활성화한다.

좌표계 매핑 및 동기화 메커니즘을 구현했다. CARLA의 왼손 좌표계(Centimeters)와 AirSim의 오른손 NED(North-East-Down, Meters) 좌표계를 변환 수식을 통해 실시간으로 일치시킨다. [UE4 좌표 p → 스케일 변환 및 Z축 반전 → NED 좌표 p_NED] 연산을 수행하여 드론의 자세와 차량의 방향 정보를 통합 관리하며, 이를 통해 지상과 공중 센서 데이터의 공간적 정렬을 보장한다.

센서 및 렌더링 통합을 위해 단일 렌더링 파이프라인을 공유한다. 최대 18종의 센서 모달리티를 지원하며, 모든 센서 데이터는 동일한 렌더링 패스에서 캡처된다. [단일 렌더링 명령 → 모든 카메라/라이다 데이터 생성 → 동일 타임스탬프 부여] 순으로 진행되어 데이터 간 시간적 불일치를 원천 차단하고, 날씨나 조명 변화가 모든 에이전트에게 즉각적이고 동일하게 반영되도록 설계했다.

성능 벤치마크 결과, 지상 차량 3대, 보행자 2명, 드론 1대 및 전체 센서 세트를 포함한 복합 워크로드에서 평균 19.8 ± 1.1 FPS를 유지했다. 이는 표준 강화학습 에피소드 학습 및 평가에 충분한 수준이며, 지상 전용 시뮬레이션 대비 약 30%의 오버헤드만으로 공중 시뮬레이션을 통합했음을 보여준다.

통신 지연 시간 분석에서 단일 프로세스 설계의 이점이 확인됐다. 데이터 전송 시간이 0.5ms 미만으로 측정되었으며, 이는 기존 브릿지 기반 공동 시뮬레이션(1~5ms) 대비 획기적으로 낮은 수치다. 특히 센서 수가 늘어나도 지연 시간이 일정하게 유지되는 확장성을 보여 대규모 데이터 수집에 유리함을 입증했다.

3시간 이상의 연속 실행 테스트에서 메모리 누수나 크래시 없이 안정적으로 작동했다. 357회의 에이전트 리셋 사이클 동안 VRAM 사용량은 약 10MiB 증가에 그쳤으며, 이는 장기적인 강화학습 훈련 환경으로서의 높은 신뢰성을 뒷받침한다. 정밀 착륙 실험에서는 최종 착륙 오차 0.5m 미만을 달성하여 실시간 제어 성능을 검증했다.

아키텍처는 두 개의 독립적인 RPC 서버를 단일 프로세스 내에서 병렬로 실행한다. 이를 통해 CARLA 클라이언트와 AirSim 클라이언트가 각각 고유한 포트를 통해 동일한 시뮬레이션 월드에 접속할 수 있으며, 기존의 Python API를 수정 없이 그대로 사용할 수 있는 환경을 제공한다.

핵심 기술적 차별점은 Unreal Engine의 BEGINPLAY 단계에서 AirSim의 비행 액터를 일반 액터로 스폰하여 GameMode 충돌을 회피한 설계에 있다. 이는 상속 계층 구조를 최소한으로 수정하면서 통합을 달성한 성과로, 단 2개의 소스 파일 수정만으로 두 시뮬레이터의 핵심 기능을 결합했다.

물리 엔진 동기화 측면에서, 지상 시스템은 엔진의 메인 틱을 따르고 공중 물리 엔진은 약 1,000Hz의 전용 스레드에서 비동기적으로 실행된다. 하지만 센서 콜백 시점에서 상태를 동기화하여 시공간적 일관성을 유지하며, 모든 월드 액터가 단일 렌더링 파이프라인을 공유함으로써 시각적 일관성까지 확보했다.

현재 릴리스는 중간 밀도의 도시 교통 시나리오와 최대 2대의 드론 운용에 대해 검증되었다. 고밀도 액터 환경에서의 성능 최적화와 3대 이상의 다수 드론 시뮬레이션에 대한 공식적인 검증은 향후 과제로 남아 있다. 또한 환경 맵 변경 시 프로세스 재시작이 필요하다는 제약이 존재한다.