지각 오류를 넘어서: 대형 시각 언어 모델의 의미적 고착 현상 연구

대형 시각 언어 모델(VLM)이 시각적 정보를 잘 인식함에도 불구하고, 왜 특정 상황에서 엉뚱한 답변을 내놓는지에 대한 근본적인 원인을 분석한다. 단순히 그림을 못 보는 것이 아니라, 익숙한 상식이나 규칙에 사로잡혀 새로운 지시사항을 무시하는 '의미적 고착' 현상을 규명하고 이를 해결할 실마리를 제공한다.

기존의 시각 언어 모델 연구는 주로 모델이 사물을 얼마나 잘 인식하는지(Perception)에 집중했다. 하지만 인식은 완벽해도 그 의미를 상황에 맞게 해석하는 과정에서 오류가 발생할 수 있다. 예를 들어, 틱택토 게임판에서 '3줄을 먼저 만들면 이긴다'는 익숙한 규칙 대신 '3줄을 만들면 진다'는 새로운 규칙이 주어졌을 때, 모델은 여전히 3줄을 만든 사람을 승자로 지목하곤 한다.

이 논문은 이러한 현상을 '의미적 고착'으로 정의한다. 딥러닝 모델은 학습 과정에서 방대한 데이터를 통해 특정 시각 패턴과 의미(예: 3줄=승리) 사이의 강력한 연결고리(Embedding)를 형성한다. 새로운 규칙이 입력되어도 모델 내부의 Attention 메커니즘은 프롬프트의 지시사항보다 이미 고착된 내부의 Prior(사전 지식)에 더 높은 가중치를 두게 된다.

결과적으로 모델은 눈앞의 증거를 무시하는 것이 아니라, 증거를 해석하는 '규칙의 틀'을 바꾸지 못하는 인지적 경직성을 보인다. 연구팀은 이를 해결하기 위해 익숙한 단어(Winner/Loser) 대신 중립적인 기호(KAP/POM)를 사용하는 등의 전략이 모델의 유연성을 회복하는 데 도움이 됨을 보여준다.

VLM-Fix 벤치마크는 틱택토, 커넥트 포, 리버시, 닷츠 앤 박스 등 4가지 게임의 터미널 상태(종료 시점) 300개를 활용한다. 각 상태에 대해 '표준 규칙(Standard)'과 '역규칙(Inverse)'을 적용하여 모델이 동일한 이미지를 보고도 규칙 변화에 따라 승패를 올바르게 판단하는지 평가한다.

프롬프트 변형(Prompt Variants) 전략을 통해 의미적 프레이밍의 영향을 분석한다. 기본(Base) 프롬프트는 '승자'와 '패자'라는 단어를 직접 사용하고, 별칭(Alias) 프롬프트는 이를 중립적인 태그로 대체한다. 의미 별칭(SemAlias)은 중립 태그에 다시 '유리함/불리함'과 같은 의미적 가치를 부여하여 고착 현상이 재발하는지 관찰한다.

학습 개입 측면에서는 지도 학습 기반 미세 조정(SFT)과 보상 기반 강화 학습(RLVR)을 수행한다. 특정 규칙(D1: 표준, D2: 역규칙)만 학습시키거나 두 규칙을 동시에 학습(D3)시켜 규칙 간 전이(Transfer) 성능을 측정한다.

기술적 분석을 위해 활성화 스티어링(Activation Steering)을 적용한다. 모델의 마지막 12개 디코더 레이어 중 하나를 선택하여, 특정 규칙에 맞는 활성화 벡터로 패칭(Patching)을 수행한다. [입력 토큰 활성화 값 → 선형 라우터를 통한 규칙 예측 → 타겟 레이어의 활성화 값 교체 → 최종 답변 생성] 순으로 연산하여 내부 표현의 수정 가능성을 타진한다.

14개 모델 평균 결과, 표준 규칙 정확도는 67.1%인 반면 역규칙 정확도는 52.5%로 나타나 14.6%p의 뚜렷한 성능 하락이 관찰됐다. 특히 '닷츠 앤 박스' 게임에서 23.8%p로 가장 큰 격차를 보였다. GPT-5.2와 같은 최신 모델도 표준(88.0%) 대비 역규칙(76.4%)에서 유의미한 하락을 피하지 못했다.

프롬프트 개입 실험에서 중립 별칭(Alias)을 사용했을 때 역규칙 정확도가 63.1%로 상승하며 표준 규칙과의 격차가 2.29%p까지 좁혀졌다. 그러나 다시 의미를 부여한 SemAlias 설정에서는 정확도가 53.5%로 급락하며 고착 현상이 재현됐다.

사후 학습 실험에서는 한 가지 규칙만 학습할 경우 반대 규칙에 대한 성능이 오히려 하락하는 '부정적 전이(Negative Transfer)'가 확인됐다. 반면 두 규칙을 모두 학습한 경우에만 범용적인 추론 능력이 향상됐다. 활성화 스티어링 분석에서는 후반부 레이어의 표현을 수정하는 것만으로도 역규칙 성능을 상당 부분 회복할 수 있음이 입증됐다.

본 연구는 VLM의 추론 실패가 시각적 특징 추출 단계가 아닌, 언어 모델 백본의 후반부 의미 해석 단계에서 발생함을 시사한다. 실험에 사용된 14종의 모델(GPT, Claude, Qwen, InternVL, Molmo 등) 대부분에서 공통적으로 나타나는 현상임을 확인하여 아키텍처에 무관한 일반적인 한계임을 밝혔다.

특히 '의미적 고착'이 텍스트 전용 모델에서도 나타나지만, 시각적 입력이 결합된 멀티모달 설정에서 지각된 정보와 고착된 의미 사이의 충돌이 더 복잡하게 작용함을 분석했다. 활성화 스티어링 실험을 통해 이러한 고착 정보가 모델의 특정 레이어에 국소화되어 존재하며, 이를 조작함으로써 행동을 교정할 수 있다는 메커니즘적 해석을 제공한다.

또한 VLMBias 벤치마크로의 외부 타당성 검증을 통해, 단순히 게임 규칙뿐만 아니라 사물 계수(Counting)와 같은 일반적인 시각 과업에서도 '익숙한 패턴에 대한 의존'이 성능 저하의 핵심 원인임을 확인했다.

VLM-Fix는 합성 데이터셋(Synthetic)을 기반으로 설계되었으므로, 실제 자연어 환경의 복잡한 규칙 재매핑 상황을 완벽하게 대변하지 못할 수 있다. 또한 활성화 스티어링 결과가 유망하지만, 추론 시 실시간으로 정확한 규칙 라우팅이 전제되어야 한다는 기술적 제약이 존재한다.