토큰 워핑을 통한 멀티모달 거대 언어 모델의 인접 시점 이해 향상

멀티모달 거대 언어 모델(MLLM)은 시각적 추론 능력이 뛰어나지만 시점 변화에 취약하며, 기존의 픽셀 단위 워핑은 깊이 오류와 기하학적 왜곡에 민감하다는 한계가 있다. 본 연구는 인간의 시각적 변환이 부분 수준의 구조적 표현에 기반한다는 이론에 착안하여 ViT 기반 MLLM의 이미지 토큰을 워핑의 대상으로 활용하는 방식을 도입했다. 연구진은 순방향과 역방향 워핑을 비교한 결과, 타겟 뷰에서 소스 뷰의 토큰을 조회하는 역방향 토큰 워핑이 시점 이동 시 의미적 일관성을 가장 잘 유지함을 확인했다. 자체 구축한 ViewBench 벤치마크 실험 결과, 이 방식은 픽셀 워핑이나 미세 조정된 모델보다 우수한 성능을 기록하며 MLLM의 시점 추론 신뢰도를 높였다.