VaseMuseum: 고대 그리스 도기용 지능형 디지털 박물관

VaseMuseum은 단순한 이미지 질의응답을 넘어서 시각 단서가 부족하거나 전문 지식이 필요한 문화유산 질문에 대해 외부 근거를 검증하면서 답변을 생성하는 실무적 경로를 제시한다. 이 접근은 대형 VLM을 추가 학습시키지 않고도 박물관 전시에서 인용 유효성과 과잉 확신(환각)을 줄이는 데 초점을 맞추었다. 결과적으로 현장 전시와 학술 기록이 불완전한 상황에서 보다 신뢰할 수 있는 멀티모달 안내를 가능하게 한다.

문제 출발점은 VLM이 단순한 시각 인식에는 강하지만 문화유산과 같은 전문 영역에서는 시각 단서만으로 충분한 근거가 확보되지 않을 때 과잉 확신으로 잘못된 설명을 생성하는 경향이 있다는 점이다. 도기 해석은 형태, 회화 기법, 도상학, 연대, 출처 같은 다층적 정보에 의존하므로 시각 증거와 외부 문헌 근거의 조합이 필요하다. 기존의 단회 RAG나 대규모 재학습 방식은 신뢰성 확보와 배포 비용 측면에서 제약이 있었다.

VaseAgent의 전체 흐름은 시각 인식 단계, 반복적 외부 탐색 루프(DeepResearch 스타일), 출처 제어, 응답 제어로 구성되어 있다. 입력(q, I)이 주어지면 VLM은 먼저 시각적 단서를 추출하고 바로 답할 수 없는 경우에는 검색 도구를 호출해 쿼리-응답 루프를 수행한다. 각 검색 반환물은 Source Control에 의해 접근성 a(h)와 텍스트 충분도 c(h)를 계산해 s_val(h)=0.55 a(h)+0.45 c(h) 조건으로 초기 유효성 필터를 통과해야 하며 이후 phi_pre와 MMR 기반 다양성 선택을 거쳐 최대 N_src=5개의 증거로 정제된다.

주요 실험은 세 가지 태스크(V-Only, V+K, Ambiguous)에서 수행되었고, VaseAgent(Full)는 지식집약형 V+K에서 외부 링크 유효성 60.00%와 중립성 점수 3.75를 달성해 검색만 쓰는 기반 대비 유의미한 개선을 보였다. Hallucination 비율은 V+K에서 0.22로 낮아졌고 groundedness는 0.73을 기록해 근거 기반 응답이 증가했음이 확인되었다. Ablation에서는 출처 관련 신호를 제거하면 링크 유효성이 크게 떨어지고 응답-수준 신호를 제거하면 중립성 점수가 낮아져 두 제어층이 상보적 역할을 함이 드러났다.

전체 아키텍처는 모듈성에 중점을 두어 시각-언어 백본, 검색 도구, Source Control, Response Control, 그리고 선택기(그룹 기반 GRPO)를 분리해 구현하였다. Source Control에서는 접근성 a(h), 텍스트 충분도 c(h), 도메인 우선도 ρ_site(h), 토큰 단위 관련도 rel(h)를 이용해 φ_pre(h)=0.35 rel(h)+0.25 q_src(h)+0.20  a(h) 로 사전 점수를 계산하고 MMR(λ_MMR=0.72)을 통해 다양성 보강과 도메인 신규성 보상을 조합했다. Response Control은 초안 응답을 주장 단위로 분해한 뒤 주장-증거 매트릭스를 구축해 c_cov, κ_cons, ω_multi, m_E, n_conf 요소를 가중 합해 ψ를 계산하고 ψ<τ_conf(=0.52)인 경우 불확실 모드로 전환한다.

논문이 명시한 한계는 외부 웹·박물관 소스의 품질과 가용성에 의존한다는 점이다. 현재 구현은 고대 그리스 도기에 초점을 맞추었으므로 다른 유물 유형이나 언어로의 일반화에는 추가 도메인 검증이 필요하다. 또한 링크 유효성 및 중립성 평가는 인간 판단이 포함되므로 더 넓은 전문가 평가와 명확한 합의 분석이 필요하다.