Image2Sim: 생성적 신경 시뮬레이터를 통한 임베디드 내비게이션 확장

현실 세계로 잘 일반화되는 내비게이션 정책은 고품질의 대규모 환경 데이터가 필요하지만 기존 스캔과 절차적 시뮬레이터는 시각적 현실감과 물리적 타당성 사이에서 상충관계가 나타났다. Image2Sim은 실제 촬영 이미지와 비디오를 실시간으로 변환해 확장 가능한, 물리적으로 실행 가능한 신경 시뮬레이터 데이터를 대량 생성하므로 데이터 병목을 완화한다. 이로 인해 단일 시뮬레이터 풀에 의존하지 않고도 제로샷 실환경 전이 성능을 유의미하게 향상시킬 수 있다는 점에서 중요하다.

출발점은 실세계 수준의 시각적 충실도와 물리적 실행 가능성을 동시에 확보한 대규모 환경 데이터가 부족하다는 관찰이다. 전통적 스캔 방식은 시각적 품질을 제공하지만 확장 비용이 크고, 절차적 합성은 확장성이 좋지만 시뮬레이터와 현실 간의 차이(sim-to-real gap)가 크다. 따라서 확장 가능하면서도 기하학적으로 근거 있는 장면 표현과 고품질 관측 합성이 동시에 필요하다.

해결 원리는 3D 공간의 '앵커링'과 화상의 '포토리얼 합성'을 분리하는 데 있다. 먼저 포즈된 RGB-D 프레임을 feed-forward Gaussian encoder로 리프팅해 위치, 크기, 회전, 불투명도, 색상, 의미적 특징을 갖는 3D feature-Gaussian 집합을 만든다. 이 표현은 관측 기반의 기하학적 근거를 명시적으로 보존하므로 충돌 검사와 경로 계획에 직접 사용될 수 있다.

두 번째 축은 관측이 드문 영역을 단일 단계로 보완하는 제너레이티브 렌더러이다. Image2Sim은 가우시안 투영으로 얻은 RGB-D 및 알파 맵을 알파-게이티드 노이즈 스케일로 섞어 소스 상태를 만들고, 이를 UNet+Transformer 병목 구조와 Alpha-gated 스킵, SPADE 유사 정규화를 통해 One-Step Pixel Flow로 목표 파노라마를 재구성한다. 학습은 MeanFlow 기반의 연속 시간 흐름 손실과 EMA 기반의 모멘텀 자가-증류를 결합해 단일 스텝에서 안정적으로 구조적 완성을 달성하도록 유도한다.

이 접근은 기존의 다중 스텝 생성이나 최적화 기반 신(scene) 재구성의 비용을 피하면서도 관측 근거 보존, 구조적 완성, 실시간 성능이라는 세 가지 요구를 동시에 만족시킨다. 결과적으로 생성된 환경은 항해용 그래프 구축, 충돌 인지 경로 계획, 그리고 VLM으로 주석화된 자연어 지침 생성까지 연계되어 대규모 학습 데이터 파이프라인을 완성한다.

전체 파이프라인은 세 가지 핵심 모듈로 구성된다. 첫째, feed-forward 3D feature-Gaussian 인코더는 포즈된 RGB-D 입력에서 DINOv3로 추출한 의미적 패치 특징과 경량 기하학 스트림(깊이, 법선, 레이 방향)을 융합해 Gaussian 예측 헤드를 통해 가우시안 원소 집합을 생성한다. 이 과정에서 가우시안 중심은 깊이로부터 결정적으로 역투영되어 메트릭 기하학에 앵커링된다.

렌더링 모듈은 alpha-gated source state로부터 One-Step Pixel Flow를 수행한다. 구체적으로 알파 맵에 따라 노이즈 스케일을 공간적으로 조절하고, 소스 상태 z_src를 구성한 뒤 UNet 기반 인코더로 압축한다. 그 후 Transformer 병목에서 전역 레이아웃과 누락 구조를 추론하며, AdaLN으로 시간 스텝을 주입하고 SPADE 유사 정규화로 의미 토큰을 통합해 업샘플링 단계에서 알파 피라미드로 스킵을 게이팅해 신뢰도 높은 투영 증거를 보존한다.

학습은 MeanFlow 연속시간 수식에 기반한 흐름 손실과 모멘텀 자가-증류를 결합한다. 네트워크는 z_t와 목표 관측 X_p로 정의된 확률 경로 상에서 평균 속도를 예측하고, JVP 기반 전향 모드로 시간에 대한 도함수를 효율적으로 계산해 흐름 손실을 최소화한다. 또한 EMA로 업데이트되는 교사 네트워크의 고품질 특성 맵과 학생을 정렬하는 자기-증류 항을 도입해 약하게 관측된 영역에서의 생성 안정성을 높인다.

모션 시뮬레이션은 Gaussian 장면을 복셀화해 탐색 가능 복셀 그래프를 구성하고, GPU 병렬 레이마칭으로 에이전트 점유 영역의 충돌 여부를 쿼리해 물리적으로 타당한 궤적을 샘플링한다. 경로 계획은 충돌 인지 비용과 경로 길이를 고려하는 NavFn 유사 플래너로 수행되며, pure-pursuit 컨트롤러가 이산 경로를 연속 실행 가능한 궤적으로 변환한다. 마지막으로 시뮬레이터는 이 궤적을 재생하며 시간 일관된 파노라마 RGB-D 시퀀스를 렌더링하고, VLM을 통해 각 매크로-스텝에 대응하는 자연어 지침을 자동으로 생성한다.

파노라마와 핀홀 입력 모두에서 Image2Sim은 생성 기반 모델과 순수 가우시안 투영 기반 방법들 사이에서 균형 잡힌 성능을 보였다. RealSee3D-Real 같은 고노이즈, 희소 관측 데이터에서 파노라마 입력으로 Image2Sim은 PSNR 17.43, SSIM 0.470, 약 45.6 FPS를 달성해 AnySplat와 같은 가우시안 전용 접근보다 재구성 품질이 우수함이 확인되었다. 이 결과는 알파 기반 지도와 픽셀 플로우 결합이 노이즈가 큰 영역에서 구조적 완성 능력을 제공함을 의미한다.

교차 시뮬레이터 제로샷 내비게이션 평가에서 Image2Nav(이미지2심으로 학습된 에이전트)는 R2R-CE, RxR-CE, REVERIE-CE 벤치마크에서 강한 성능을 기록했다. 특히 R2R-CE Val Unseen에서 90° FOV 설정으로 SR 66.3과 SPL 61.5를 달성했고, 180° FOV로는 SR 70.3, SPL 65.6까지 상승해 동일한 Habitat 평가 환경에서 기존의 인-도메인 학습법을 능가했다. 이는 Image2Sim으로 생성한 데이터가 시뮬레이터 도메인 간 일반화 학습에 유용한 물리적·시각적·언어적 신호를 제공함을 시사한다.

데이터 스케일링 실험에서는 R2R, RxR의 원본 데이터와 결합해 이미지2심에서 생성한 샘플 수를 35k에서 10M으로 확장했을 때 성공률(SR)이 46.1에서 66.3으로 증가하는 로그-선형 추세가 관찰되었다. 이 증가 추세는 환경 수, 궤적 다양성, 렌더링 관측, 지침 다양성이 함께 확장될 때 정책 성능이 지속적으로 개선된다는 점을 지지한다. 실제 로봇 실험에서도 Image2Nav는 경로 추종 및 목표 지향 과제에서 기준 방법보다 더 높은 성공 횟수를 보였으며 이는 시뮬레이터 간 전이뿐 아니라 실환경 전이 가능성을 뒷받침한다.

전체 아키텍처는 feed-forward Gaussian encoder, Geometry-Aware One-Step Pixel Flow 렌더러, 그리고 모션 시뮬레이션 및 지침 생성기로 구성된다. Gaussian encoder는 DINOv3로부터 추출한 의미적 패치 특징과 경량의 기하 스트림을 멀티스케일로 융합해 각 가우시안의 위치, 비등방성 스케일, 회전, 불투명도, 색상, 특징 벡터를 예측한다. 이 가우시안 중심은 깊이로부터 결정적 역투영으로 배치되어 메트릭 기하학을 보장한다.

픽셀 플로우 렌더러는 알파 게이티드 소스 상태를 구성하고 UNet 인코더와 Transformer 병목을 결합해 단일 단계로 목표 파노라마를 예측한다. 학습 손실은 연속시간 MeanFlow 기반의 흐름 손실, 알파 적응 가중치, LPIPS 지각 손실, 그리고 EMA 기반 교사-학생 자기-증류 항을 합산해 구성된다. 흐름 손실의 시간 도함수 항은 전향 모드 JVP로 효율적으로 평가해 고비용의 고차 미분을 회피했다.

모션 엔진은 Gaussian 장면을 복셀화하고 GPU 병렬 레이마칭으로 에이전트 점유 영역의 충돌 쿼리를 수행해 탐색 가능 복셀 그래프를 만든다. 그래프상의 경로 계획은 충돌에 민감한 비용을 포함해 NavFn 유사 방식으로 수행되며, pure-pursuit 컨트롤러로 이산 경로를 연속 실행 궤적으로 변환해 실제 가동 가능한 저수준 동작을 생성한다. 이 궤적을 재생하며 시간 일관된 파노라마 시퀀스를 렌더링하고, 각 매크로-스텝을 VLM(Qwen3-VL-32B-Instruct 등)으로 주석화해 자연어 지침을 생성한다.

훈련 및 구현 세부사항으로는 Matterport3D-360, RealSee3D, Structured3D를 혼합해 400K 반복으로 학습했고 A6000 Ada GPU 8대 환경에서 배치 사이즈 2로 수행했다. 세 단계 커리큘럼을 적용해 초기 100K 스텝에서 기하학 초기화, 이후 픽셀 플로우와 자기-증류, 마지막으로 고주파 정제를 적용했다. 제로샷 및 높은 샘플 규모 실험을 위해 Image2Nav는 Qwen3-VL-4B-Instruct 기반으로 미세조정되었고 대규모 데이터에서 닫힌 루프 DAgger 온라인 미세조정을 적용해 행동 정책을 강화했다.

실시간 처리와 낮은 계산 비용을 위해 렌더러는 모델 용량과 생성 능력 사이에서 타협이 있으므로 극히 복잡한 장면에서의 생성력은 제한될 수 있다. 시뮬레이터는 내비게이션 수준의 물리적 타당성(충돌, 슬라이딩)을 다루지만 복잡한 접촉 동역학, 가동 객체, 인간-로봇 상호작용과 같은 고차원 물리 현상은 지원되지 않는다. 또한 VLM 기반 자동 지침 생성은 대규모 주석화를 가능하게 하지만 언어적 편향이나 의미적 불일치가 간헐적으로 발생할 수 있다.