TL;DR
실제 UAV 운영에서는 관측자가 이동하면서 장면이 연속적으로 변하므로 외부 환경 인식과 에이전트 자신의 상태 추적이 동시에 필요하다. 기존 벤치와 연구는 주로 환경 중심 평가에 머물러 에이전트 자체의 동적 상태를 명시적으로 측정하지 못했다는 문제가 있었다. SIS-Bench는 이러한 공백을 메우고 모션-기반 표현의 유효성을 실증적으로 확인함으로써 UAV 체화 지능 연구의 평가 기준과 설계 방향을 제시한다.
왜 중요한가
실제 UAV 운영에서는 관측자가 이동하면서 장면이 연속적으로 변하므로 외부 환경 인식과 에이전트 자신의 상태 추적이 동시에 필요하다. 기존 벤치와 연구는 주로 환경 중심 평가에 머물러 에이전트 자체의 동적 상태를 명시적으로 측정하지 못했다는 문제가 있었다. SIS-Bench는 이러한 공백을 메우고 모션-기반 표현의 유효성을 실증적으로 확인함으로써 UAV 체화 지능 연구의 평가 기준과 설계 방향을 제시한다.
관련 Figure
이미지는 공간 인지와 자기 인식을 두 축으로 하고 지각·기억·추론의 계층을 통해 13개 과제를 구성한 설계를 한눈에 보여준다. 오른쪽 레이더 플롯은 인간 성능과 여러 모델 간의 비교를 통해 공간과 자기 인식의 성능 불균형을 직관적으로 드러낸다.
SIS-Bench의 전체 개요와 대표적 평가 과제 분포를 시각화한 도식이다.
핵심 기여
Self-in-Space 통합 평가 프레임워크 도입
공간 인지(spatial cognition)와 자기 인식(self-awareness)을 두 축으로 하고 지각(perception), 기억(memory), 추론(reasoning)의 세 인지 수준으로 과제를 계층화한 평가틀을 도입했다. 이 구조는 단순한 장면 인식 성능을 넘어 에이전트의 동적 상태 추적과 시간적 일관성 유지 능력을 동시에 측정하게 설계되었다. 결과적으로 환경 중심 편향을 드러내고 자기-공간 상호작용의 중요성을 수량화할 수 있었다.
실제 UAV 영상 기반 대규모 벤치마크 구축
AirScape, UrbanVideo-Bench, VisDrone 세 소스에서 추출한 1,646개 실제 UAV 영상을 사용해 총 4,856개의 다중선택 QA를 제작했다. 제작 과정은 영상 변환·연결·셔플링, VLM/전문가 주석, 템플릿 기반 QA 변환, 이중 전문가 검수의 4단계 파이프라인으로 진행되어 데이터 품질을 확보했다. 벤치 데이터는 총 약 14.9시간 분량의 항공 영상으로 다양한 환경과 시간 길이를 포괄한다.
모션 인식 통합을 통한 SIS-Motion 기술적 탐색
광류(Optical Flow)를 추정해 이를 3채널 의사 이미지로 변환하고 ViT 기반 모션 인코더로 모션 토큰을 추출한 뒤 시각적 토큰과 정렬·결합하는 SIS-Motion 아키텍처를 도입했다. 모션 토큰은 LayerNorm-MLP를 거쳐 시각적 특징에 더해지며 최종적으로 언어 모델에 주입된다. 이 통제된 실험 설계는 모션 단서의 기여도를 명확히 분리하여 평가할 수 있게 했다.
진단적 평가와 모션 전이성 검증
26개 비디오 대응 MLLM을 영(zero)-샷으로 평가해 인간(91.7%)과 최고 모델(71.6%) 사이에 큰 성능 격차를 확인했다. SIS-Motion 학습 체계는 perception·memory 수준에서 Spatial Avg가 72.0%에서 74.2%로, Self Avg가 60.3%에서 63.7%로 개선된 것을 보였고 downstream UAV 네비게이션 과제에서는 71.2%에서 92.2%로 크게 향상되는 전이 효과를 보였다. 광류 추정기 교체 실험에서는 MOFNet이 최상 성능을 기록하며 모션 품질이 성능에 직접적인 영향을 미침이 확인됐다.
핵심 아이디어 이해하기
대형 다중모달 언어 모델(MLLM)은 이미지·비디오의 정적 외형 표현을 통해 장면 객체와 속성 인식에 강점을 보이지만, UAV처럼 관측자 자체가 시간에 따라 움직이는 설정에서는 관측 변화가 곧 에이전트 상태 변화로 연결되기 때문에 단순한 프레임별 외형만으로는 일관된 자기 상태를 유지하기 어렵다. 본 논문은 이 문제를 '자기-공간(Self-in-Space)' 관점으로 재정의하여 외부 환경과 내부 에이전트 상태를 병렬로 모델링해야 한다고 주장한다. 이러한 관점은 시간축에서의 모션 신호가 에이전트의 행동 이력과 향후 행동 예측에 필수적인 입력임을 전제로 한다.
방법론
SIS-Bench는 네 가지 비디오 구성 유형(Single, Concatenated, Long, Shuffled)을 정의해 인지 수준별 입력 요구를 맞추었다. Single Video는 즉시 지각 과제용으로, Concatenated Video는 2~4개의 클립을 이어 메모리 과제를 생성하며 Long Video와 Shuffled Video는 장기 추론과 시간적 순서 회복 능력을 평가하도록 설계되었다. 데이터 가공 단계에서는 VisDrone 프레임 변환(15 FPS), AirScape 클립 연결, UrbanVideo-Bench의 구간 셔플링을 수행해 과제별 입력을 구성했다.
관련 Figure
이 그림은 각 과제가 어떤 비디오 구성과 인지 수준에 대응하는지를 구체적 예시와 함께 보여주어 벤치 설계 원리를 명확히 전달한다. 특히 Concatenated와 Shuffled 입력이 메모리와 순서 회복 과제를 어떻게 어렵게 만드는지 시각적으로 확인할 수 있다.
SIS-Bench에서 사용하는 입력 형식별(Single, Concatenated, Long, Shuffled) 과제 매핑과 예시를 보여주는 도판이다.
상단 패널은 Data Processing, Task-specific Annotation, QA Construction, Dual-expert Verification의 4단계 파이프라인을 단계별로 시각화해 데이터 품질 확보 과정을 보여준다. 하단 통계 그래프는 비디오 길이 분포와 태스크별 비중(Perception 36.3%, Memory 43.7%, Reasoning 20.0%)을 제시하여 벤치의 구성 균형을 수치로 확인할 수 있다.
데이터 처리 파이프라인, 태스크별 주석 흐름, 데이터 분포를 요약한 통계 다이어그램이다.
주요 결과
전체 진단 평가에서 인간 상한선은 91.7%였고, 평가한 MLLM 최고 성능은 71.6%로 인간과 약 20포인트 이상의 격차가 존재했다. 모델 군별 결과는 공간 인지보다 자기 인식 과제에서 성능이 낮게 나타났고, 인지 계층별로는 perception이 가장 높고 memory, reasoning 순으로 성능이 점진적으로 하락하는 경향이 확인됐다. SIS-Motion 실험에서는 visual-only SFT 대비 Spatial Avg가 72.0%에서 74.2%로, Self Avg가 60.3%에서 63.7%로 개선되었고 전체 정확도는 SFT 66.4%에서 SIS-Motion 69.1%로 향상됐다. 광류 추정기별 비교에서 RAFT/Sea-RAFT/MemFlow/MOFNet의 전체 성능은 각각 67.1%, 68.1%, 68.2%, 69.1%로 보고되어 모션 품질이 성능에 유의미한 영향을 미침이 확인됐다. 마지막으로 SIS-Motion은 OpenUAV 기반의 downstream 네비게이션 태스크에서 백본(71.2%) 대비 92.2%를 기록하며 모션-통합이 실제 의사결정 과제까지 전이될 수 있음을 보여주었다.
관련 Figure
이 예시는 Long Video 기반의 추론 문제에서 시간축 단계별 관찰을 어떻게 질문으로 변환했는지, 그리고 올바른 경로·동작 시퀀스를 판별하는 난이도를 어떻게 설계했는지를 보여준다. 시퀀스 예시는 reasoning 수준에서 모델들이 직면하는 시간적 증거 통합의 어려움을 설명하는 근거 자료로 연결된다.
벤치에서 사용된 장기 시퀀스 예시와 이에 대한 다중선택 정답 후보를 예시로 보여주는 그림이다.
기술 상세
SIS-Motion 아키텍처는 시각적 문맥을 추출하는 Visual Encoder와 시간축 모션을 추출하는 Motion Encoder, 그리고 두 스트림을 정렬·융합하는 Connector로 구성된 이중 인코더 구조를 채택했다. 모션 인코더 입력은 광류 추정기 Φ로부터 얻은 U_t를 L2 노름과 x·y 성분으로 결합해 3채널 의사 이미지 P_t로 변환한 뒤 ViT 기반 인코더에 투입해 모션 토큰 e_m을 생성한다. 토큰 정렬 과정에서는 e_m에 LayerNorm을 적용한 뒤 MLP_m으로 투영해 시각 토큰 차원으로 변환한 e_m'를 얻고 최종 표현은 e = e_v + e_m' 형태로 합산하여 언어 모델에 전달한다.
관련 Figure
오른쪽 패널은 광류 U = Φ(f_i)를 의사 이미지 P로 변환하고 ViT 기반 모션 인코더로 e_m을 얻는 흐름을 수식과 함께 제시한다. 중앙의 Connector는 e_m에 LayerNorm과 MLP를 적용해 e_m'를 만들고 e_v와 가산 결합(e = e_v + e_m')하는 설계를 명시해 알고리즘적 처리 흐름을 재현 가능하게 했다.
SIS-Motion 아키텍처를 보여주는 도식으로, 광류 추정부터 모션 토큰화, 시각 토큰과의 융합 과정을 나타낸다.
한계점
실험 결과는 모션-기반 통합이 perception·memory 수준에서 뚜렷한 이득을 제공하는 반면 고차원적 추론(reasoning) 과제에서는 개선 효과가 제한적임을 보여준다. 본 논문의 SIS-Motion 탐색은 광류 기반 모듈을 추가하는 통제된 실험에 초점을 맞췄고 대규모 재학습이나 다른 아키텍처에 대한 일반화는 추가 검증이 필요하다. 벤치 자체도 UAV 시나리오와 항공 영상에 특화되어 있어 지상 로봇이나 비디오 종류가 크게 다른 환경으로의 직접적 확장은 논문에서 명시적으로 제한됐다.
실무 활용
SIS-Bench와 SIS-Motion은 UAV 운영에서 관측자 이동을 명시적으로 모델링해야 하는 실무적 요구에 대응할 수 있는 평가·학습 자원을 제공한다. 공개된 코드 저장소를 통해 벤치마크 재현과 모션 인코더 실험을 수행할 수 있어 연구·개발 전환이 용이하다.
- 감시·인프라 점검과 같은 UAV 운용에서 비행 이력과 장면 변화를 결합한 자동 이상 징후 탐지 시스템 성능 평가에 활용할 수 있다.
- 자율비행 경로 결정 연구에서 모션-통합 표현을 학습한 모델의 의사결정 전이를 검증하는 데 적용할 수 있다.
- 영상 기반 로봇 내비게이션 연구에서 광류 기반 모션 토큰과 시각 토큰의 융합 전략을 비교·검증하는 벤치마크로 사용할 수 있다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Optical Flow
- — 연속된 영상 프레임 사이의 픽셀 이동 벡터 필드를 의미한다. 본문에서는 RAFT, Sea-RAFT, MemFlow, MOFNet 같은 추정기를 통해 프레임 간 움직임을 계산하고 이를 3채널 의사 이미지(노름, x성분, y성분)로 변환하여 모션 인코더에 입력한다. 움직임 신호는 UAV의 자기 상태와 시야 변화 정보를 명시적으로 제공하는 핵심 단서로 활용된다.
- Motion Encoder
- — 광류로부터 생성한 시간축의 의사 이미지 시퀀스를 입력받아 모션 토큰을 출력하는 ViT 기반 인코더를 의미한다. 이 인코더는 방향성, 속도 변화, 관측자(viewpoint) 이동 정보를 포착한 토큰을 생성하여 시각적 외형 토큰과 정렬 및 결합된다. 결합된 표현은 자기 상태와 공간 문맥을 동시에 반영하는 데 사용된다.
- Concatenated Video
- — 서로 다른 짧은 Single Video 클립 2~4개를 시간 순으로 이어붙여 메모리 수준의 문맥 의존성을 부여한 입력 형식이다. 이 구성은 연속 구간 간의 정보 보존과 순서 회복 능력을 평가하는 데 사용되어 Landmark Order, Action Sequence 같은 과제를 생성한다. 데이터 파이프라인에서 다양한 소스 클립을 합쳐 장기 의존성 샘플을 만든다.
- Self-in-Space
- — 에이전트의 내부 상태(self)와 외부 환경(space)를 통합해 평가하는 개념적 프레임워크로, 시간에 따른 자기 상태 추적과 공간적 인지 역량을 동시에 측정한다. 본 논문에서는 perception, memory, reasoning의 세 인지 수준으로 구분해 공간 인지와 자기 인식을 병렬로 평가하는 벤치 설계를 의미한다. 이 관점은 UAV의 관측 변화와 행동 이력을 모델링하는 필요성을 부각시킨다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.