크로스 디픽션 조립 지침 정렬을 위한 시각-언어 모델의 벤치마킹 및 메커니즘 분석

가구 조립 도면과 실제 조립 영상은 시각적 특징이 매우 달라 AI가 이를 연결하기 어렵다. 이 논문은 IKEA-Bench를 통해 최신 시각-언어 모델들이 이 '묘사 격차'를 극복하지 못하는 이유를 기술적으로 분석하고, 비디오 인코딩 개선이 핵심임을 시사한다.

시각-언어 모델은 사진이나 그림 같은 단일 스타일의 이미지를 이해하는 데 능숙하지만, 추상적인 2D 도면과 복잡한 실제 영상을 동일한 작업 단계로 매칭하는 상황에서는 어려움을 겪는다. 이는 도면의 실루엣과 영상의 픽셀 정보가 공유하는 시각적 특징이 거의 없는 '묘사 격차' 때문이다. 논문은 이 문제를 해결하기 위해 모델 내부의 ViT가 생성하는 임베딩 공간을 분석했다. 분석 결과, 도면과 영상은 수학적으로 완전히 분리된 부분 공간에 위치하며 모델은 이 둘을 연결할 공통된 시각적 지표를 찾지 못한다. 특히 텍스트 지침을 추가하면 모델이 시각적 매칭보다는 텍스트 논리에 의존하게 되어, 정작 중요한 영상 속의 물리적 변화를 놓치는 텍스트 편향 현상이 발생한다. 이는 모델이 시각 정보를 통합하기보다 텍스트로 시각 정보를 대체하려 하기 때문에 발생하는 한계이다.

IKEA-Bench는 IKEA Manuals at Work 데이터셋을 기반으로 구축됐다. 29개 제품의 조립 단계 도면과 실제 조립 영상을 시간 순서대로 정렬하고, 단계 인식(T1), 단계 검증(T2), 진행 추적(T3), 다음 단계 예측(T4) 등 4가지 핵심 작업과 2가지 진단 작업을 설계했다. 평가 전략은 시각 정보만 사용하는 Visual, 텍스트 설명을 추가한 Visual+Text, 도면을 텍스트로 대체한 Text Only의 세 가지로 나뉜다. 메커니즘 분석은 세 층위에서 수행된다. Layer 1에서는 ViT의 마지막 층 출력을 CKA로 비교한다. [도면 벡터 X와 영상 벡터 Y를 입력으로] → [두 행렬의 내적과 Frobenius norm을 연산해] → [0에서 1 사이의 유사도 값을 얻고] → [이 값이 0에 가까우면 두 데이터가 서로 다른 특징 공간에 있음을 의미한다]. Layer 2와 3에서는 LLM의 은닉 상태와 어텐션 가중치를 분석한다. [마지막 토큰의 은닉 상태와 각 모달리티 토큰의 평균 상태를 입력으로] → [코사인 유사도를 계산해] → [영향력 점수를 산출하고] → [텍스트 추가 시 도면/영상에 대한 어텐션이 얼마나 감소하는지 측정하여 모델의 의존도 변화를 파악한다].

최신 VLM들의 단계 인식(T1) 정확도는 평균 45.6% 수준에 머물렀으며, 상용 모델인 Gemini 3 Flash조차 65.3%로 신뢰할 만한 수준에 도달하지 못했다. 특히 절차적 추론이 필요한 T4 작업에서는 성능이 T1 대비 평균 12.2%p 하락했다. 텍스트 추가(V+T) 전략은 지침 이해(D2) 성능을 23.6%p 대폭 향상시켰으나, 정작 도면-영상 정렬(T1) 성능은 평균 3.1%p 저하시켰다. 이는 텍스트가 시각적 정렬을 돕는 가교 역할을 하기보다 시각 정보 처리를 방해하는 노이즈로 작용함을 보여준다. 메커니즘 분석 결과, 모든 모델에서 도면과 영상의 ViT CKA 수치는 0.001~0.101로 매우 낮게 나타났다. 또한 Qwen3-VL-8B 모델의 경우 텍스트 추가 시 도면에 대한 어텐션 점유율이 8.1%에서 3.9%로 절반 이하로 감소하는 현상이 확인됐다.

IKEA-Bench는 1,623개의 질문으로 구성되며, 인접한 조립 단계를 오답 선택지로 구성하여 모델이 단순히 부품의 존재 여부가 아닌 조립 상태의 변화를 파악하도록 강제한다. 평가 대상인 19종의 VLM은 Qwen, InternVL, Gemma, GLM 등 8개 아키텍처 패밀리를 포함하며, 2B에서 38B까지의 규모를 커버한다. 실험 결과 파라미터 수보다 최신 고밀도 아키텍처 여부가 성능을 더 잘 예측하는 것으로 나타났다. 메커니즘 분석의 Layer 1에서는 동결된 ViT 특징에 대해 선형 프로브를 훈련시켜 영상 프레임 간의 단계 구분 능력을 테스트했다. 대부분의 모델이 ViT 층에서는 우연 수준(50%)의 성능을 보였으나, 프로젝터 통과 후에는 60%대로 상승하여 프로젝터가 일부 구조를 추가함을 확인했다.

IKEA 가구 조립 도메인에 한정되어 있어 다른 조립 영역으로의 일반화 여부는 검증되지 않았다. 또한 오류 감지와 같은 고차원적인 가이드 기능보다는 기초적인 정렬 능력 평가에 집중했다.