이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
FoundationMotion은 객체 탐지와 LLM을 결합하여 대규모 움직임 데이터를 자동 생성한다. 이를 통해 fine-tuning된 VLM은 기존 모델 대비 공간적 추론 성능이 크게 향상된다.
배경
영상 내 공간적 움직임과 물리적 역학을 이해하는 것은 VLM의 핵심 과제이나, 기존 모델들은 이 부분에서 낮은 성능을 보인다.
대상 독자
컴퓨터 비전 연구자, VLM 개발자
의미 / 영향
영상 내 움직임 이해를 위한 데이터 구축 비용을 획기적으로 낮추어 VLM의 물리적 추론 능력을 빠르게 개선할 수 있다. 로봇 공학 및 자율 주행 등 실시간 영상 분석이 필요한 분야에서 VLM의 활용도가 높아질 것으로 예상된다.
챕터별 상세
00:00
움직임 이해의 중요성과 한계
움직임은 시각적 의사소통의 침묵의 언어로서, 정적인 데이터를 서사로 변환하고 시청자의 초점을 유도한다. 그러나 현재의 대규모 언어 모델과 시각 언어 모델은 텍스트와 코딩에는 능숙하지만 영상 내 공간적 움직임을 이해하는 데는 한계가 있다. 아메바의 이동이나 동물의 사냥 전략과 같은 생존을 위한 움직임은 언어 없이도 복잡한 의도를 전달한다.
VLM(Vision Language Model)이 영상 내 객체의 움직임을 이해하는 데 어려움을 겪는 현상을 설명한다.
06:08
FoundationMotion 파이프라인 소개
기존의 수동 라벨링 방식은 확장성이 부족하여 대규모 움직임 데이터셋 구축에 어려움이 있다. FoundationMotion은 이를 해결하기 위해 영상 내 객체를 탐지하고 추적하여 궤적을 추출하는 자동화된 파이프라인을 제안한다. 추출된 궤적과 영상 프레임을 LLM에 입력하여 세밀한 캡션과 질문-답변 쌍을 생성한다.
10:40
데이터 생성 및 파이프라인 상세
파이프라인은 영상 전처리, 객체 탐지 및 추적, 캡션 생성, 질문-답변 생성의 4단계로 구성된다. 전처리 단계에서는 영상을 크롭하고 카메라 움직임을 탐지한다. 객체 탐지에는 오픈 보캐블러리 탐지기와 SAM2를 사용하여 객체의 궤적을 추출하고, 이를 바탕으로 LLM이 영상 내 움직임과 공간적 관계를 설명하는 데이터를 생성한다.
SAM2(Segment Anything Model 2)는 영상 내 객체 추적에 사용되는 모델이다.
13:38
Fine-tuning 및 성능 결과
생성된 데이터셋을 사용하여 NVILA-Video-15B와 Qwen2.5-VL-7B 모델을 fine-tuning하였다. 평가 결과, FoundationMotion으로 학습된 모델들은 MotionBench와 VLM4D 등 다양한 벤치마크에서 Gemini-2.5 Flash와 같은 강력한 폐쇄형 모델 및 기존 오픈소스 모델을 능가하는 성능을 보였다. 이는 모델의 범용적 성능 저하 없이 움직임 이해 능력이 향상되었음을 의미한다.
17:39
한계점 및 향후 연구 방향
현재 파이프라인은 2D 공간에서의 움직임만을 다루며, 깊이(Depth), 힘/접촉(Force/contact), 3D 회전, 카메라 자아 움직임(Ego-motion)과 같은 차원이 누락되어 있다. 향후 연구는 이러한 차원을 포함하여 실세계의 복잡한 움직임을 이해할 수 있도록 파이프라인을 확장하는 것에 초점을 맞추고 있다.
언급된 리소스
문서SAM2
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 19.수집 2026. 05. 19.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
