CARLA-AIR: CARLA 월드에서 드론 비행하기 - 지상-공중 통합형 임바디드 인텔리전스를 위한 통합 인프라

자율주행차와 드론을 동시에 시뮬레이션하기 위해 기존에는 서로 다른 프로그램을 복잡하게 연결해야 했으나, 이 논문은 이를 하나의 시스템으로 통합했다. 데이터 전송 지연을 0.5ms 미만으로 줄이고 지상과 공중 에이전트 간의 완벽한 물리적·시간적 동기화를 구현하여 협력형 AI 연구의 효율성을 극대화한다.

왜 중요한가

핵심 기여

단일 프로세스 통합 아키텍처

Unreal Engine 내에서 CARLA와 AirSim을 하나의 프로세스로 통합하여 프로세스 간 통신 오버헤드를 제거하고 엄격한 시공간적 일관성을 보장한다.

네이티브 API 및 ROS 2 호환성

기존 CARLA 및 AirSim의 Python API와 ROS 2 인터페이스를 그대로 보존하여 기존 연구 코드베이스를 수정 없이 재사용할 수 있도록 지원한다.

확장 가능한 에셋 파이프라인

사용자 정의 로봇 플랫폼, UAV 구성, 환경 맵을 통합 시뮬레이션 세계로 쉽게 가져올 수 있는 워크플로우를 제공하여 연구 범위를 확장한다.

다양한 연구 시나리오 유효성 검증

정밀 착륙, 비전-언어 내비게이션, 멀티모달 데이터 수집 등 5가지 핵심 연구 방향에 대한 실험을 통해 플랫폼의 실용성을 입증한다.

핵심 아이디어 이해하기

기존의 시뮬레이션 환경은 자율주행(CARLA)과 드론 비행(AirSim)으로 도메인이 분리되어 있었다. 두 환경을 동시에 사용하려면 브릿지(Bridge) 방식의 공동 시뮬레이션을 사용해야 했는데, 이는 데이터 직렬화와 네트워크 통신으로 인해 지연 시간이 발생하고 프레임 간 물리적 상태가 어긋나는 한계가 있었다. 이는 특히 정밀한 협력이 필요한 임바디드 인텔리전스 연구에서 치명적인 문제로 작용한다.

CARLA-Air는 Unreal Engine의 'GameMode' 제약을 해결하여 이 문제를 풀었다. 엔진 수준에서 지상 시뮬레이션 시스템을 상속받으면서 공중 비행 액터를 일반 월드 엔티티로 생성하는 구성을 채택했다. 이를 통해 모든 에이전트가 동일한 물리 틱(Physics Tick)과 렌더링 파이프라인을 공유하게 된다. 즉, 지상 차량과 드론이 동일한 물리 법칙과 렌더링 주기 안에서 공존하게 된 것이다.

결과적으로 데이터 전송 오버헤드가 0.5ms 미만으로 유지되며, 지상 차량과 드론이 동일한 조명, 날씨, 교통 상황 속에서 완벽하게 동기화된 센서 데이터를 생성할 수 있게 된다. 이는 복잡한 협력형 강화학습이나 멀티모달 데이터셋 구축에 필수적인 기반을 제공하며, 연구자가 인프라 구축보다 알고리즘 개발에 집중할 수 있는 환경을 조성한다.

방법론

CARLA-Air는 단일 프로세스 아키텍처를 기반으로 한다. Unreal Engine 4는 월드당 하나의 GameMode만 허용하므로, CARLAAirGameMode를 도입하여 CARLA의 지상 시스템을 상속받고 AirSim의 비행 로직을 Composition 방식으로 통합했다. [CARLA 시스템 상속 → AirSim 액터 포함 → 단일 엔진 실행] 과정을 통해 리소스 충돌을 방지하고 두 시뮬레이터의 기능을 동시에 활성화한다.

좌표계 매핑 및 동기화 메커니즘을 구현했다. CARLA의 왼손 좌표계(Centimeters)와 AirSim의 오른손 NED(North-East-Down, Meters) 좌표계를 변환 수식을 통해 실시간으로 일치시킨다. [UE4 좌표 p → 스케일 변환 및 Z축 반전 → NED 좌표 p_NED] 연산을 수행하여 드론의 자세와 차량의 방향 정보를 통합 관리하며, 이를 통해 지상과 공중 센서 데이터의 공간적 정렬을 보장한다.

센서 및 렌더링 통합을 위해 단일 렌더링 파이프라인을 공유한다. 최대 18종의 센서 모달리티를 지원하며, 모든 센서 데이터는 동일한 렌더링 패스에서 캡처된다. [단일 렌더링 명령 → 모든 카메라/라이다 데이터 생성 → 동일 타임스탬프 부여] 순으로 진행되어 데이터 간 시간적 불일치를 원천 차단하고, 날씨나 조명 변화가 모든 에이전트에게 즉각적이고 동일하게 반영되도록 설계했다.

주요 결과

성능 벤치마크 결과, 지상 차량 3대, 보행자 2명, 드론 1대 및 전체 센서 세트를 포함한 복합 워크로드에서 평균 19.8 ± 1.1 FPS를 유지했다. 이는 표준 강화학습 에피소드 학습 및 평가에 충분한 수준이며, 지상 전용 시뮬레이션 대비 약 30%의 오버헤드만으로 공중 시뮬레이션을 통합했음을 보여준다.

통신 지연 시간 분석에서 단일 프로세스 설계의 이점이 확인됐다. 데이터 전송 시간이 0.5ms 미만으로 측정되었으며, 이는 기존 브릿지 기반 공동 시뮬레이션(1~5ms) 대비 획기적으로 낮은 수치다. 특히 센서 수가 늘어나도 지연 시간이 일정하게 유지되는 확장성을 보여 대규모 데이터 수집에 유리함을 입증했다.

3시간 이상의 연속 실행 테스트에서 메모리 누수나 크래시 없이 안정적으로 작동했다. 357회의 에이전트 리셋 사이클 동안 VRAM 사용량은 약 10MiB 증가에 그쳤으며, 이는 장기적인 강화학습 훈련 환경으로서의 높은 신뢰성을 뒷받침한다. 정밀 착륙 실험에서는 최종 착륙 오차 0.5m 미만을 달성하여 실시간 제어 성능을 검증했다.

기술 상세

아키텍처는 두 개의 독립적인 RPC 서버를 단일 프로세스 내에서 병렬로 실행한다. 이를 통해 CARLA 클라이언트와 AirSim 클라이언트가 각각 고유한 포트를 통해 동일한 시뮬레이션 월드에 접속할 수 있으며, 기존의 Python API를 수정 없이 그대로 사용할 수 있는 환경을 제공한다.

핵심 기술적 차별점은 Unreal Engine의 BEGINPLAY 단계에서 AirSim의 비행 액터를 일반 액터로 스폰하여 GameMode 충돌을 회피한 설계에 있다. 이는 상속 계층 구조를 최소한으로 수정하면서 통합을 달성한 성과로, 단 2개의 소스 파일 수정만으로 두 시뮬레이터의 핵심 기능을 결합했다.

물리 엔진 동기화 측면에서, 지상 시스템은 엔진의 메인 틱을 따르고 공중 물리 엔진은 약 1,000Hz의 전용 스레드에서 비동기적으로 실행된다. 하지만 센서 콜백 시점에서 상태를 동기화하여 시공간적 일관성을 유지하며, 모든 월드 액터가 단일 렌더링 파이프라인을 공유함으로써 시각적 일관성까지 확보했다.

한계점

현재 릴리스는 중간 밀도의 도시 교통 시나리오와 최대 2대의 드론 운용에 대해 검증되었다. 고밀도 액터 환경에서의 성능 최적화와 3대 이상의 다수 드론 시뮬레이션에 대한 공식적인 검증은 향후 과제로 남아 있다. 또한 환경 맵 변경 시 프로세스 재시작이 필요하다는 제약이 존재한다.

실무 활용

지상-공중 협력 로봇 시스템 연구 및 개발을 위한 오픈소스 시뮬레이션 플랫폼으로 즉시 활용 가능하다.

드론의 이동 차량 정밀 착륙 제어 알고리즘 개발 및 검증
지상-공중 협력 수색 및 구조 시나리오를 위한 강화학습 훈련
도시 환경에서의 멀티뷰 비전-언어 내비게이션(VLN) 데이터셋 구축
복합 교통 상황에서의 지상-공중 협력형 자율주행 정책 연구

코드 공개 여부: 공개

코드 저장소 보기

키워드

Embodied Intelligence(임바디드 인텔리전스)Co-simulation(공동 시뮬레이션)UAV(무인 항공기)Autonomous Driving(자율주행)Reinforcement Learning(강화학습)

용어 해설

체화된 지능(Embodied Intelligence): — 지능형 에이전트가 물리적 신체를 가지고 환경과 직접 상호작용하며 학습하는 개념이다. 센서 입력과 물리적 행동 사이의 긴밀한 루프를 통해 실세계 문제를 해결하는 능력을 강조하며, 로봇 공학과 AI의 융합 연구에서 핵심적인 위치를 차지한다.
공동 시뮬레이션(Co-simulation): — 서로 다른 도메인을 다루는 여러 시뮬레이터를 연결하여 하나의 통합된 시스템처럼 작동하게 하는 기술이다. 각 시뮬레이터 간의 데이터 교환과 시간 동기화를 통해 복잡한 시스템의 상호작용을 모델링하지만, 통신 지연과 동기화 오차가 발생할 수 있다.
물리 틱(Physics Tick): — 시뮬레이션 내에서 물리 연산이 수행되는 최소 시간 단위다. 모든 에이전트가 동일한 물리 틱을 공유해야 충돌이나 이동 궤적 등의 물리적 상호작용이 정확하게 계산되며, 시뮬레이션의 물리적 일관성을 결정하는 중요한 요소다.
NED 좌표계(NED Frame): — North-East-Down의 약자로, 북쪽(X), 동쪽(Y), 아래쪽(Z)을 양의 방향으로 설정하는 항공 분야 표준 좌표계다. 지면을 기준으로 드론의 고도와 방향을 계산할 때 주로 사용되며, 일반적인 게임 엔진의 좌표계와는 변환 과정이 필요하다.

CARLA-AIR: CARLA 월드에서 드론 비행하기 - 지상-공중 통합형 임바디드 인텔리전스를 위한 통합 인프라

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM