TL;DR
실제 환경에서는 객체가 시야에서 벗어날 때에도 물리적 상태가 계속 변하기 때문에 영상 생성 모델이 단순히 보기 좋은 프레임을 합성하는 것만으로는 충분하지 않다. MemoBench는 객체가 시야에서 사라졌다가 재등장할 때 그 객체의 정체성, 위치, 그리고 물리적 상태가 정확히 보존되고 업데이트되는지를 검사해 모델의 '기억' 능력을 직접적으로 측정한다. 이 평가는 자율주행, 로봇 조작, 그리고 장기 관찰을 요구하는 임베디드 에이전트 응용에서 중요한 신뢰도 요소로 작용한다.
왜 중요한가
실제 환경에서는 객체가 시야에서 벗어날 때에도 물리적 상태가 계속 변하기 때문에 영상 생성 모델이 단순히 보기 좋은 프레임을 합성하는 것만으로는 충분하지 않다. MemoBench는 객체가 시야에서 사라졌다가 재등장할 때 그 객체의 정체성, 위치, 그리고 물리적 상태가 정확히 보존되고 업데이트되는지를 검사해 모델의 '기억' 능력을 직접적으로 측정한다. 이 평가는 자율주행, 로봇 조작, 그리고 장기 관찰을 요구하는 임베디드 에이전트 응용에서 중요한 신뢰도 요소로 작용한다.
핵심 기여
사라졌다-재등장(disappear-and-reappear) 패러다임을 중심으로 한 진단형 벤치마크 구축
MemoBench는 대상 객체가 가시 상태에서 물리적 변화를 겪고 카메라가 물체를 벗어나도록 이동한 뒤 다시 재등장할 때 모델이 업데이트된 상태를 복원하는 능력을 평가하도록 설계된 벤치마크이다. 총 360개의 고해상도(1920×1080) 그라운드트루 영상으로 구성되며 합성 서브셋 196개와 실세계 서브셋 164개로 나뉜다. 각 클립은 d_start와 r_start로 정의되는 키프레임 주석과 카메라 트라젝토리 및 depth 정보를 포함해 기하학적·물리적 일관성 평가를 가능하게 한다.
자동화 지표와 LLM 기반 VQA를 결합한 다중 진단 평가 스위트 설계
자동화된 지표는 Visual Quality, Motion Smoothness, Object Identity Consistency, Geo3D Consistency, Object Reappearance Score(ORS), PSNR/SSIM/LPIPS, Camera Controllability, ImageReward 등을 포함해 픽셀·기하·검출 관점의 수치적 평가를 제공한다. VQA 기반 평가는 Gemini-3.1-Pro를 이용해 프롬프트와 첫 프레임으로부터 생성한 24개의 양·음성 균형 Yes/No 질문을 적용하고, GT 필터링·실패 필터링·인간 검증 단계를 거쳐 의미론적 및 시간적 일관성을 측정한다. 인간 상관 연구에서 VQA의 GT 정답과 인간 다수결 간의 일치율은 92.9%이고 Cohen의 κ는 0.85로 보고되었다.
최신 10개 세계 생성 모델의 종합 벤치마킹과 분석
CI2V, 3D 기반, I2V 등 세 범주에서 10개 모델을 평가해 카메라 제어성, 재등장 검출, 픽셀 수준 품질 간의 상충관계를 규명했다. 실험 결과 HunyuanWorldPlay가 ORS 0.582로 가장 높은 ORS를 기록했으나 어떤 모델도 카메라 제어성·ORS·주관적 시각 품질을 동시에 만족하지 못했다. 또한 카메라 비활동성(static viewpoint)이 기존 자동 지표와 VQA 점수를 부풀리는 현상이 반복적으로 관찰되어 평가 해석의 주의가 요구되었다.
핵심 아이디어 이해하기
출발점과 기존 한계는 다음과 같다. 영상 생성 모델은 장면의 시각적 리치함과 시간적 연속성을 만든다는 목표를 공유하지만, 대부분의 기존 벤치마크는 대상이 연속적으로 시야에 존재할 때의 일관성만 측정해 객관적 기억 능력은 직접적으로 검사하지 않았다. 카메라와 장면이 동시에 움직이는 상황에서는 대상이 시야 밖으로 나갔다가 돌아올 때 정체성, 위치, 그리고 물리적 상태(예: 용액의 양, 분말의 분포)가 바뀔 수 있으며, 이러한 변화를 모델이 유지·업데이트해야 'object permanence'를 만족한다. 기존의 많은 모델은 시각적 품질이나 프레임 간 부드러움에는 강하지만 시야 이탈 동안의 상태 보존성은 보장하지 못했다.
방법론
데이터 수집은 합성 파이프라인과 실세계 파이프라인으로 병렬 구성되었다. 합성 파이프라인에서는 Unreal Engine 5에서 장면을 초기화하고 대상에 물리적 프로세스를 적용한 뒤 첫인칭 관찰자에 부착된 가상 카메라가 대상과의 상대 위치를 바꿔 Visible–Disappear–Reappear 시퀀스를 생성하며 각 프레임에 대해 RGB, metric depth, 카메라 intrinsics와 camera-to-world poses를 60 FPS로 추출했다. 실세계 파이프라인에서는 제어된 실내 환경에서 물리적 상태 변화를 촬영하고 MapAnything을 사용해 RGB 프레임으로부터 외부 파라미터를 추정한 뒤 궤적을 스무딩해 per-frame pose를 확보했다.
관련 Figure
이 그림은 MemoBench가 합성(196개)과 실세계(164개) 클립을 모두 포함해 disappear-and-reappear 패러다임을 구현했음을 직관적으로 보여준다. 카메라 궤적과 키프레임 인덱스 표시는 각 클립에 대해 d_start와 r_start를 정의해 단계별 평가를 가능하게 한다. 이 정보는 데이터 수집 과정과 평가 단계 분할의 근거로 직접 연결된다.
Figure 1은 합성 Visible–Disappear–Reappear 시퀀스와 실세계 상태 변화 시퀀스를 나란히 보여주며 데이터셋 구성과 카메라 궤적을 시각화한다.
이 다이어그램은 합성 파이프라인에서 metric depth와 카메라-to-world pose를 자동 추출하고 실세계 파이프라인에서 외부 파라미터를 추정해 스무딩하는 구체적 단계를 명확히 보여준다. 해당 절차는 평가에서 기하학적 일관성 지표와 카메라 제어성 측정이 가능한 근거를 제공한다.
Figure 2는 합성 파이프라인(Unreal Engine 5 기반)과 실세계 파이프라인(MapAnything 기반)의 데이터 큐레이션 워크플로를 나란히 정리한 다이어그램이다.
이 그림은 Gemini-3.1-Pro 기반의 질문 생성과 세 단계의 필터링 절차가 어떻게 최종 Yes/No 질문 은행을 구성하는지를 절차적으로 드러낸다. 인간 상관 연구 결과(92.9% 일치, κ=0.85)는 이 파이프라인이 의미론적 판단과 높은 정합성을 가짐을 실증적으로 뒷받침한다.
Figure 3는 VQA 평가 파이프라인을 보여주며 LLM 질문 생성, GT/실패 필터링, 인간 검증, 그리고 최종 스코어링 단계를 순서대로 제시한다.
주요 결과
자동화 지표와 VQA 결과는 상호 보완적이지만 해석 시 주의가 필요하다는 결론이 도출되었다. 자동화된 지표에서는 Stable Virtual Camera가 픽셀 수준의 충실도와 Camera Controllability에서 강점을 보였고 Matrix-Game 2.0은 시각적 샤프니스에서 높은 점수를 얻었으나 두 경우 모두 VQA에서 낮은 의미론적 일관성 점수를 보였다. VQA 결과는 LTX-Video처럼 카메라 비활동을 택한 모델이 일관성 관련 점수를 부풀리는 경향을 보였으며, 전반적으로 Continuity of Memory 성능은 낮아 HunyuanWorldPlay가 ORS 0.582로 가장 높았지만 어떤 모델도 재등장 단계에서 안정적으로 객체 상태를 복원하지 못했다.
관련 Figure
이 시각화는 카메라를 정확히 따라가는 모델이 반드시 재등장 시 객체 상태를 복원하지 못하는 경우가 존재함을 보여주며, 반대로 거의 고정된 시점을 유지한 모델이 자동 지표에서 높은 점수를 얻지만 실제 재등장 복원에서는 실패할 수 있음을 시각적으로 확인시킨다. 따라서 정성적 예시는 자동화 지표와 VQA 점수 간의 해석적 간극을 보강하는 근거로 작용한다.
Figure 4(문맥상 결과 시각화)는 다양한 모델(GT 포함)의 프레임 행렬을 나열해 카메라 추적 성공과 객체 재등장 복원 실패 사례를 비교한다.
기술 상세
전체 아키텍처와 데이터 형식은 클립 단위로 RGB 영상, metric depth, 카메라 intrinsics, camera-to-world pose를 포함하도록 규격화되었다. 평가 시 각 클립은 Visible, Disappeared, Reappear의 세 단계로 분할되며 D(사라짐) 단계는 운동·기하 메트릭에서 제외해 재등장 복원 능력을 집중 평가했다. 자동화 지표는 LAION aesthetic predictor와 CLIP-IQA+를 결합해 Visual Quality를 산출하고 RAFT-Large로 흐름 기반의 Motion Smoothness를 측정하며 DINOv2 토큰 유사도로 Object Identity Consistency를 계산하고 Depth Anything V2로 산출한 depth map의 코사인 유사도로 Geo3D Consistency를 평가했다.
한계점
논문에서 명시적으로 지적된 한계는 합성 장면과 실세계 장면의 물리적 다양성 간 차이로서 합성 서브셋에서는 엔진이 모델링하지 못하는 점성·탄성·열전달 기반 물리 현상이 실세계 서브셋에서만 나타난다는 점이다. 평가에서 카메라 비활동(static viewpoint)은 자동화 지표와 일부 VQA 차원에서 점수 부풀림을 초래해 비교 해석에 제약을 남겼다. VQA 파이프라인은 Yes/No 질문 은행과 인간 검증을 통해 높은 일관성을 확보했지만 질문 은행의 구성과 필터링 과정이 특정 오류 유형에 민감할 수 있다는 한계가 남아 있다.
실무 활용
MemoBench는 모델 설계자가 카메라 제어 신호를 포함한 조건부 영상 생성 파이프라인에서 객체 기억력과 물리적 상태 보존을 평가하는 데 직접 활용할 수 있다. 벤치마크는 자동화 지표와 VQA를 함께 제공하므로 픽셀·기하·의미론적 일관성 관점에서 개선 효과를 구분해 측정할 수 있다. 코드와 데이터가 GitHub에 공개되어 있어 재현 실험과 자체 모델의 평가 파이프라인 통합이 가능하다.
- 카메라 궤적 조건화를 포함한 영상 생성 모델의 학습 중간 지표로서 객체 재등장 성능을 비교할 수 있다.
- 로봇 또는 자율주행용 시뮬레이터에서 시야 이탈 동안의 상태 추적 능력을 검증하는 검증셋으로 사용될 수 있다.
- 모델 개선의 영향이 픽셀 수준 지표와 의미론적 VQA에 어떻게 각각 반영되는지 분해하는 진단 실험에 활용할 수 있다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Object Permanence
- — 대상 객체가 시야에서 사라진 뒤에도 존재와 상태가 유지된다는 개념으로서 이 논문에서는 객체가 시야 밖에서 진행된 물리적 변화 이후 재등장할 때 그 업데이트된 상태를 정확히 재현할 수 있는 능력을 가리킨다.
- Object Reappearance Score
- — 재등장 단계에서 대상 객체가 신뢰도 높은 분할 마스크로 검출되는 빈도와 신뢰도를 결합한 지표로서 R-단계 프레임 중 검출된 프레임 비율과 검출 신뢰도 평균을 곱해 계산하는 평가 척도이다.
- Camera Controllability
- — 생성 모델이 주어진 카메라 궤적을 얼마나 정확히 재현하는지를 뜻하며, 본 논문에서는 생성 프레임에서 추정한 카메라-to-world 회전 오차를 정규화해 0–100 스케일로 표준화하여 측정한다.
- VQA-based Evaluation
- — LLM을 사용해 텍스트 프롬프트와 첫 프레임을 바탕으로 생성된 Yes/No 질문 은행을 생성하고 이를 GT와 실패 클립으로 필터링한 뒤 생성 비디오에 적용해 의미론적 정확성과 시간적 추론을 평가하는 절차적 평가 방식이다.
- Depth Map
- — 각 프레임에 대해 장면의 거리 정보를 픽셀 단위로 표현한 값으로서 본 데이터셋의 합성 서브셋은 metric depth를 렌더링해 제공하고, 평가에서는 Depth Anything V2로 추정한 depth map을 비교 지표로 사용한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.