핵심 요약
시각-언어 모델이 텍스트 문자로 구성된 격자는 잘 인식하지만, 동일한 구조를 도형으로 표현하면 성능이 급락하는 '텍스트 앵커 의존성' 문제를 실험으로 증명했다.
배경
프론티어 VLM들이 동일한 15x15 이진 격자 데이터를 텍스트 기호와 채워진 사각형 도형으로 각각 렌더링했을 때 보여주는 성능 차이를 분석했다. 시각 인코더를 동일하게 거침에도 불구하고 도형 렌더링 시 F1 점수가 최대 54점 하락하는 현상이 관찰되어 커뮤니티에 공유됐다.
의미 / 영향
VLM의 성능이 시각 인코더의 순수한 해상도보다 데이터의 '텍스트 유사성'에 크게 좌우된다는 점이 확인됐다. 이는 향후 모델 학습 시 비텍스트적 구조 데이터를 강화하거나 공간 정보를 위한 별도의 토큰 체계를 설계해야 할 필요성을 시사한다.
커뮤니티 반응
VLM의 시각적 한계에 대한 구체적인 수치 제시에 많은 사용자가 관심을 보였다. 특히 Gemini의 시각 경로 특성과 모델별 실패 패턴의 차이가 흥미롭다는 반응이 많았다.
주요 논점
01중립다수
현재 VLM의 시각 인코더 개선보다 시각적 알파벳 같은 새로운 토큰화 방식이 더 효율적일 수 있다.
합의점 vs 논쟁점
합의점
- VLM은 텍스트 기반 이미지 인식(OCR)에 최적화되어 있으며 순수 기하학적 구조 인식에는 취약하다.
논쟁점
- 시각적 경로의 용량과 텍스트 경로의 견고함 사이에 존재하는 트레이드오프의 실체
실용적 조언
- VLM에 구조적 데이터를 입력할 때 도형보다는 텍스트 기호(ASCII 아트 등) 형식을 사용하는 것이 인식 정확도를 높이는 데 유리하다.
언급된 도구
Claude Opus중립
실험 대상 시각-언어 모델
ChatGPT 5.2중립
실험 대상 시각-언어 모델
Gemini 3 Thinking중립
실험 대상 시각-언어 모델
섹션별 상세
15x15 크기의 이진 격자를 텍스트 기호(. 및 #)와 도형 두 가지 방식으로 렌더링하여 VLM의 전사 능력을 테스트했다. 텍스트 기호 이미지에서는 약 84%의 F1 점수를 기록했으나, 동일한 정보를 담은 도형 이미지에서는 29-39% 수준으로 성능이 급격히 저하됐다. 시각 인코더가 동일함에도 불구하고 표현 방식에 따라 34-54점의 성능 격차가 발생했다. 이는 모델들이 시각적 정보를 처리할 때 텍스트 형태의 '앵커'에 과도하게 의존하고 있음을 시사한다.
모델별로 도형 인식 실패 시 서로 다른 양상을 보이는 흥미로운 결과가 관찰됐다. Claude는 격자 내 채워진 셀의 개수를 실제보다 적게 계산하는 경향을 보였다. 반면 ChatGPT는 셀의 개수를 실제보다 과도하게 많이 측정하는 오류를 범했다. Gemini의 경우 입력 데이터와 무관하게 특정 L자형 패턴을 반복적으로 생성하는 구조적 환각(Structured Hallucination) 증세를 나타냈다.
Gemini는 저밀도 격자 환경에서 타 모델 대비 우수한 시각적 경로 성능을 입증했다. 밀도가 낮은 격자에서 Gemini는 68%의 F1 점수를 기록하며 30% 수준인 Claude를 크게 앞섰다. 하지만 격자 밀도가 32%를 초과하는 순간 성능이 완전히 붕괴되며 환각 현상이 발생했다. 이는 구글의 시각 AI 투자가 시각 경로는 강화했으나 고밀도 데이터에서의 견고함은 여전히 부족함을 보여준다.
현재의 VLM은 강력한 암시적 OCR 파이프라인을 갖추고 있지만 비텍스트적 공간 특징을 처리하는 메커니즘은 결여되어 있다. 이러한 한계는 차트, 다이어그램, 스프레드시트 등 구조적 정보를 포함한 이미지 처리 시 성능 저하로 직결된다. 작성자는 시각 인코더 자체를 개선하는 대신 일반적인 공간 패턴을 위한 '시각적 알파벳(Visual Alphabet)'과 같은 이산적 시각 토큰 도입을 제안했다. 이산적 시각 토큰을 활용하는 방식이 비용 효율적인 해결책이 될 수 있다는 분석이다.
실무 Takeaway
- VLM은 동일한 정보라도 텍스트 기호로 표현될 때 훨씬 더 높은 공간 인식 능력을 발휘한다.
- 도형 렌더링 시 F1 점수가 34-54점가량 하락하며 모델의 공간 국소화 능력이 텍스트 앵커 없이는 취약함이 확인됐다.
- 모델마다 과소 측정, 과다 측정, 템플릿 환각 등 고유한 시각적 실패 메커니즘을 가지고 있다.
- 차트나 다이어그램 등 구조적 콘텐츠를 다루는 실무 애플리케이션에서 이러한 인식 편향이 심각한 제약이 될 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료