지각 오류를 넘어서: 대형 시각 언어 모델의 의미적 고착 현상 연구

대형 시각 언어 모델(VLM)이 시각적 정보를 잘 인식함에도 불구하고, 왜 특정 상황에서 엉뚱한 답변을 내놓는지에 대한 근본적인 원인을 분석한다. 단순히 그림을 못 보는 것이 아니라, 익숙한 상식이나 규칙에 사로잡혀 새로운 지시사항을 무시하는 '의미적 고착' 현상을 규명하고 이를 해결할 실마리를 제공한다.

왜 중요한가

핵심 기여

VLM-Fix 벤치마크 구축

시각적 상태는 동일하게 유지하면서 승리/패배 규칙만 표준과 역방향으로 대조시킨 4가지 추상 전략 게임 기반의 데이터셋을 설계하여 지각 오류와 규칙 매핑 오류를 분리 측정한다.

의미적 고착(Semantic Fixation) 현상 발견

14종의 주요 VLM을 평가한 결과, 표준 규칙 대비 역규칙 상황에서 정확도가 평균 14.6%p 하락함을 확인하며 모델이 익숙한 의미 우선순위에 강하게 의존하고 있음을 입증한다.

프롬프트 및 학습 개입 효과 분석

중립적인 별칭(Alias) 사용이 역규칙 성능 격차를 줄이는 반면, 의미가 담긴 용어는 다시 격차를 벌린다는 점을 발견하고, 사후 학습(Post-training) 시 규칙 정렬의 중요성을 확인한다.

활성화 스티어링을 통한 오류 수정 가능성 제시

모델의 후반부 레이어 활성화를 조정함으로써 재학습 없이도 의미적 고착으로 인한 오류를 일부 수정할 수 있음을 실험적으로 증명한다.

핵심 아이디어 이해하기

기존의 시각 언어 모델 연구는 주로 모델이 사물을 얼마나 잘 인식하는지(Perception)에 집중했다. 하지만 인식은 완벽해도 그 의미를 상황에 맞게 해석하는 과정에서 오류가 발생할 수 있다. 예를 들어, 틱택토 게임판에서 '3줄을 먼저 만들면 이긴다'는 익숙한 규칙 대신 '3줄을 만들면 진다'는 새로운 규칙이 주어졌을 때, 모델은 여전히 3줄을 만든 사람을 승자로 지목하곤 한다.

이 논문은 이러한 현상을 '의미적 고착'으로 정의한다. 딥러닝 모델은 학습 과정에서 방대한 데이터를 통해 특정 시각 패턴과 의미(예: 3줄=승리) 사이의 강력한 연결고리(Embedding)를 형성한다. 새로운 규칙이 입력되어도 모델 내부의 Attention 메커니즘은 프롬프트의 지시사항보다 이미 고착된 내부의 Prior(사전 지식)에 더 높은 가중치를 두게 된다.

결과적으로 모델은 눈앞의 증거를 무시하는 것이 아니라, 증거를 해석하는 '규칙의 틀'을 바꾸지 못하는 인지적 경직성을 보인다. 연구팀은 이를 해결하기 위해 익숙한 단어(Winner/Loser) 대신 중립적인 기호(KAP/POM)를 사용하는 등의 전략이 모델의 유연성을 회복하는 데 도움이 됨을 보여준다.

방법론

VLM-Fix 벤치마크는 틱택토, 커넥트 포, 리버시, 닷츠 앤 박스 등 4가지 게임의 터미널 상태(종료 시점) 300개를 활용한다. 각 상태에 대해 '표준 규칙(Standard)'과 '역규칙(Inverse)'을 적용하여 모델이 동일한 이미지를 보고도 규칙 변화에 따라 승패를 올바르게 판단하는지 평가한다.

프롬프트 변형(Prompt Variants) 전략을 통해 의미적 프레이밍의 영향을 분석한다. 기본(Base) 프롬프트는 '승자'와 '패자'라는 단어를 직접 사용하고, 별칭(Alias) 프롬프트는 이를 중립적인 태그로 대체한다. 의미 별칭(SemAlias)은 중립 태그에 다시 '유리함/불리함'과 같은 의미적 가치를 부여하여 고착 현상이 재발하는지 관찰한다.

학습 개입 측면에서는 지도 학습 기반 미세 조정(SFT)과 보상 기반 강화 학습(RLVR)을 수행한다. 특정 규칙(D1: 표준, D2: 역규칙)만 학습시키거나 두 규칙을 동시에 학습(D3)시켜 규칙 간 전이(Transfer) 성능을 측정한다.

기술적 분석을 위해 활성화 스티어링(Activation Steering)을 적용한다. 모델의 마지막 12개 디코더 레이어 중 하나를 선택하여, 특정 규칙에 맞는 활성화 벡터로 패칭(Patching)을 수행한다. [입력 토큰 활성화 값 → 선형 라우터를 통한 규칙 예측 → 타겟 레이어의 활성화 값 교체 → 최종 답변 생성] 순으로 연산하여 내부 표현의 수정 가능성을 타진한다.

주요 결과

14개 모델 평균 결과, 표준 규칙 정확도는 67.1%인 반면 역규칙 정확도는 52.5%로 나타나 14.6%p의 뚜렷한 성능 하락이 관찰됐다. 특히 '닷츠 앤 박스' 게임에서 23.8%p로 가장 큰 격차를 보였다. GPT-5.2와 같은 최신 모델도 표준(88.0%) 대비 역규칙(76.4%)에서 유의미한 하락을 피하지 못했다.

프롬프트 개입 실험에서 중립 별칭(Alias)을 사용했을 때 역규칙 정확도가 63.1%로 상승하며 표준 규칙과의 격차가 2.29%p까지 좁혀졌다. 그러나 다시 의미를 부여한 SemAlias 설정에서는 정확도가 53.5%로 급락하며 고착 현상이 재현됐다.

사후 학습 실험에서는 한 가지 규칙만 학습할 경우 반대 규칙에 대한 성능이 오히려 하락하는 '부정적 전이(Negative Transfer)'가 확인됐다. 반면 두 규칙을 모두 학습한 경우에만 범용적인 추론 능력이 향상됐다. 활성화 스티어링 분석에서는 후반부 레이어의 표현을 수정하는 것만으로도 역규칙 성능을 상당 부분 회복할 수 있음이 입증됐다.

기술 상세

본 연구는 VLM의 추론 실패가 시각적 특징 추출 단계가 아닌, 언어 모델 백본의 후반부 의미 해석 단계에서 발생함을 시사한다. 실험에 사용된 14종의 모델(GPT, Claude, Qwen, InternVL, Molmo 등) 대부분에서 공통적으로 나타나는 현상임을 확인하여 아키텍처에 무관한 일반적인 한계임을 밝혔다.

특히 '의미적 고착'이 텍스트 전용 모델에서도 나타나지만, 시각적 입력이 결합된 멀티모달 설정에서 지각된 정보와 고착된 의미 사이의 충돌이 더 복잡하게 작용함을 분석했다. 활성화 스티어링 실험을 통해 이러한 고착 정보가 모델의 특정 레이어에 국소화되어 존재하며, 이를 조작함으로써 행동을 교정할 수 있다는 메커니즘적 해석을 제공한다.

또한 VLMBias 벤치마크로의 외부 타당성 검증을 통해, 단순히 게임 규칙뿐만 아니라 사물 계수(Counting)와 같은 일반적인 시각 과업에서도 '익숙한 패턴에 대한 의존'이 성능 저하의 핵심 원인임을 확인했다.

한계점

VLM-Fix는 합성 데이터셋(Synthetic)을 기반으로 설계되었으므로, 실제 자연어 환경의 복잡한 규칙 재매핑 상황을 완벽하게 대변하지 못할 수 있다. 또한 활성화 스티어링 결과가 유망하지만, 추론 시 실시간으로 정확한 규칙 라우팅이 전제되어야 한다는 기술적 제약이 존재한다.

실무 활용

VLM을 활용한 복잡한 의사결정 시스템이나 게임 AI, 특수 규칙이 적용되는 산업 현장에서 모델의 판단 신뢰성을 높이는 데 활용될 수 있다.

특수 도메인(의료, 법률)에서 일반적인 상식과 반대되는 예외적 규칙을 적용해야 하는 추론 엔진 설계
VLM의 할루시네이션(환각) 원인이 지각 오류인지 아니면 고착된 편향인지 진단하는 도구로 활용
프롬프트 엔지니어링 시 의미적으로 편향된 단어 대신 중립적인 식별자를 사용하여 모델의 추론 유연성 확보

코드 공개 여부: 공개

코드 저장소 보기

키워드

VLM(시각 언어 모델)Semantic Fixation(의미적 고착)Rule Remapping(규칙 재매핑)Activation Steering(활성화 스티어링)Benchmark(벤치마크)

용어 해설

의미적 고착(Semantic Fixation): — 인지 심리학의 고착(Fixation) 개념을 AI에 적용한 것으로, 프롬프트가 새로운 규칙이나 대안적 해석을 명시했음에도 불구하고 모델이 학습 시 습득한 기본적이고 익숙한 의미 해석을 고수하는 현상이다. 이는 모델의 유연한 추론 능력을 저해하는 주요 요인이 된다.
미제르 규칙(Misere Rules): — 게임 이론에서 일반적인 승리 조건을 정반대로 뒤집어, 원래 승리해야 하는 상황을 패배로 간주하는 규칙이다. 본 논문에서는 VLMs가 동일한 시각적 상태에서 승패의 의미만 바뀌었을 때 이를 올바르게 재매핑할 수 있는지 평가하는 도구로 사용된다.
활성화 스티어링(Activation Steering): — 모델을 재학습시키지 않고 추론 과정에서 특정 레이어의 활성화 값(Activation)을 미세하게 조정하여 모델의 출력 방향을 유도하는 기법이다. 본 연구에서는 이를 통해 모델 내부의 의미 표현을 수정하여 고착된 오류를 해결할 수 있는지 확인한다.
사고의 사슬(Chain-of-Thought): — 모델이 최종 답변을 내기 전에 단계적인 추론 과정을 거치도록 유도하는 프롬프팅 기법이다. 복잡한 논리 구조를 가진 문제에서 성능을 높이는 데 기여하며, 본 논문에서는 규칙 재매핑 상황에서도 효과가 있는지 검증하는 데 쓰인다.

지각 오류를 넘어서: 대형 시각 언어 모델의 의미적 고착 현상 연구

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

하이브리드 사고 MLLM의 응답 패턴 정렬

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

하이브리드 사고 MLLM의 응답 패턴 정렬