Appear2Meaning: 이미지로부터 구조화된 문화 메타데이터 추론을 위한 교차 문화 벤치마크

최신 시각 언어 모델들이 이미지의 겉모습은 잘 묘사하지만, 그 이면에 숨겨진 역사적 맥락이나 문화적 기원을 추론하는 데는 여전히 한계가 있음을 밝혀냈다. 박물관의 미분류 유물을 자동으로 식별하거나 문화유산 데이터의 품질을 높이는 데 필요한 기술적 이정표를 제시한다.

기존의 이미지 캡셔닝 모델은 '빨간색 꽃병'처럼 눈에 보이는 시각적 특징을 묘사하는 데 집중한다. 하지만 문화유산 분야에서는 이미지 임베딩에 포함된 미세한 스타일적 단서를 통해 제작 시기나 문화적 배경 같은 '보이지 않는 정보'를 추론하는 능력이 필수적이다. 본 논문은 VLM이 이러한 고차원적인 문화적 지식을 내부 파라미터에 얼마나 잘 저장하고 활용하는지 테스트하고자 한다.

연구진은 모델이 이미지를 보고 단순히 텍스트를 생성하는 대신, 사전에 정의된 메타데이터 필드(Culture, Period, Origin, Creator)를 채우도록 유도했다. 이는 모델이 시각적 특징을 추상적인 문화적 개념과 연결하는 매핑 능력을 측정하는 것이다. 예를 들어, 특정 문양을 보고 '18세기 프랑스'라는 시공간적 좌표를 정확히 짚어낼 수 있는지를 평가한다.

실험 결과, 모델들은 특정 속성 하나는 잘 맞추더라도 여러 속성을 동시에 일관성 있게 예측하는 데 실패했다. 이는 모델이 문화적 맥락을 통합적으로 이해하기보다는 학습 데이터에서 자주 등장한 패턴을 단편적으로 출력하고 있음을 시사한다. 특히 서구 중심적인 데이터 편향으로 인해 아메리카 유물을 유럽산으로 오인하는 등의 체계적인 오류 패턴이 발견되었다.

Appear2Meaning 데이터셋은 Getty Art Collections와 Metropolitan Museum of Art의 공개 기록에서 큐레이션되었다. 규칙 기반 필터링을 통해 4개 지역(동아시아, 고대 지중해, 유럽, 아메리카)과 4개 객체 유형(도자기, 회화, 금속공예, 조각)을 조합하여 총 750개의 검증된 샘플을 추출했다. 각 샘플은 이미지와 함께 제목, 문화, 시기, 기원, 제작자라는 5가지 핵심 메타데이터 필드를 포함한다.

평가 프로세스는 VLM이 이미지 입력만으로 구조화된 JSON 응답을 생성하도록 설계되었다. 생성된 결과는 LLM-as-a-Judge 프레임워크를 통해 평가된다. 평가 모델인 GPT-4.1-mini는 예측값 M_hat과 정답 M*를 비교하여 각 속성별로 'Correct', 'Partial', 'Incorrect' 레이블을 부여한다. [예측 텍스트와 정답 텍스트 입력 → 의미론적 유사도 및 맥락 분석 연산 → 3단계 등급 출력 → 속성별 정확도 산출] 과정을 거친다.

정확도 측정 지표로는 모든 필드를 완벽히 맞춘 Exact Match(Acc)와 하나 이상의 필드를 맞춘 Partial Match 비율을 사용한다. 또한 속성별 정확도를 별도로 계산하여 모델이 어떤 정보(예: 제작자 vs 시기)를 더 잘 포착하는지 분석한다. 모든 평가는 외부 지식 검색 없이 모델의 내부 파라미터만을 사용하는 Zero-shot 설정에서 수행되었다.

모든 모델의 Exact Match 정확도는 0.01~0.03 수준으로 매우 낮게 나타났다. 이는 5가지 메타데이터 필드를 동시에 모두 맞추는 것이 현재 VLM에게 극도로 어려운 과제임을 보여준다. 반면 Partial Match 비율은 Qwen3-VL-Flash가 0.658로 가장 높았으며, GPT-4.1-mini(0.609)가 그 뒤를 이어 모델들이 유물의 부분적인 특징은 어느 정도 포착하고 있음을 확인했다.

지역별 분석에서는 동아시아 유물에 대한 성능이 가장 높았으며, 유럽과 아메리카 지역에서는 상대적으로 낮은 정확도를 보였다. 특히 아메리카 유물을 유럽의 스타일로 오인하는 '교차 문화적 오귀속(Cross-cultural misattribution)' 현상이 빈번하게 발생했다. 속성별로는 제목(Title)과 제작자(Creator)의 정확도가 높았던 반면, 문화(Culture), 시기(Period), 기원(Origin) 추론은 훨씬 더 낮은 성능을 기록했다.

오류 분석 결과, 모델들은 시각적 유사성에 기반한 스타일적 지름길(Stylistic shortcuts)을 사용하는 경향이 있었다. 예를 들어 19세기 아메리카 도자기를 문양의 유사성만으로 18세기 프랑스 제품으로 예측하는 식이다. 이는 모델이 유물의 기능적 이해나 역사적 맥락보다는 학습 데이터의 통계적 빈도에 의존하고 있음을 나타낸다.

본 연구는 VLM의 성능이 단순한 시각적 인식을 넘어 '비가시적 속성(Non-observable attributes)'의 추론으로 확장되어야 함을 강조한다. 아키텍처 측면에서 Qwen3-VL-Flash와 같은 최신 오픈 웨이트 모델들이 폐쇄형 모델인 GPT-5.4-mini 등과 대등하거나 일부 지표에서 앞서는 성능을 보였다는 점이 주목할 만하다.

기술적 차별점은 기존의 캡셔닝 벤치마크들이 텍스트 유사도(BLEU, ROUGE 등)에 의존했던 것과 달리, 구조화된 필드 기반의 의미론적 평가를 도입했다는 것이다. 이는 모델의 출력이 실제 박물관의 표준 스키마와 얼마나 일치하는지 직접적으로 측정할 수 있게 한다.

학습 데이터 편향 문제도 심도 있게 다루어졌다. 서구 중심의 박물관 데이터로 학습된 모델들이 비서구권 유물을 해석할 때 발생하는 체계적인 오류를 정량화했다. 향후 연구 방향으로 외부 지식 베이스를 결합한 RAG(검색 증강 생성) 방식이나 온톨로지 기반의 추론 메커니즘 도입이 필요함을 시사한다.

지리적 위치를 문화의 대리 지표(Proxy)로 사용했기 때문에 문화 내부의 다양성을 충분히 반영하지 못할 수 있다. 또한 박물관 데이터 자체에 내재된 역사적, 기관적 편향이 모델 평가 결과에 영향을 미칠 수 있음을 명시했다. 이미지 한 장만으로는 제작자나 기원을 완벽히 특정하기 어려운 본질적인 모호성도 한계로 언급되었다.