시각-언어 모델(VLM)의 텍스트 기반 공간 인식 편향: 텍스트 기호와 도형 렌더링 간의 성능 격차 연구

VLM의 시각적 한계에 대한 구체적인 수치 제시에 많은 사용자가 관심을 보였다. 특히 Gemini의 시각 경로 특성과 모델별 실패 패턴의 차이가 흥미롭다는 반응이 많았다.

• VLM에 구조적 데이터를 입력할 때 도형보다는 텍스트 기호(ASCII 아트 등) 형식을 사용하는 것이 인식 정확도를 높이는 데 유리하다.

• VLM은 동일한 정보라도 텍스트 기호로 표현될 때 훨씬 더 높은 공간 인식 능력을 발휘한다.
• 도형 렌더링 시 F1 점수가 34-54점가량 하락하며 모델의 공간 국소화 능력이 텍스트 앵커 없이는 취약함이 확인됐다.
• 모델마다 과소 측정, 과다 측정, 템플릿 환각 등 고유한 시각적 실패 메커니즘을 가지고 있다.
• 차트나 다이어그램 등 구조적 콘텐츠를 다루는 실무 애플리케이션에서 이러한 인식 편향이 심각한 제약이 될 수 있다.