VaseMuseum: 고대 그리스 도기용 지능형 디지털 박물관

왜 중요한가

VaseMuseum은 단순한 이미지 질의응답을 넘어서 시각 단서가 부족하거나 전문 지식이 필요한 문화유산 질문에 대해 외부 근거를 검증하면서 답변을 생성하는 실무적 경로를 제시한다. 이 접근은 대형 VLM을 추가 학습시키지 않고도 박물관 전시에서 인용 유효성과 과잉 확신(환각)을 줄이는 데 초점을 맞추었다. 결과적으로 현장 전시와 학술 기록이 불완전한 상황에서 보다 신뢰할 수 있는 멀티모달 안내를 가능하게 한다.

핵심 기여

가상 박물관 인터페이스와 멀티모달 에이전트 연결

VaseMuseum은 2D 이미지와 3D 아티팩트 탐색을 지원하는 웹 기반 가상 박물관 인터페이스를 제공하고 VaseAgent라는 추론 에이전트를 연동했다. 인터렉티브 환경에서 사용자는 전시물을 선택하고 세부 뷰를 확보한 뒤 자연어 질의를 보낼 수 있으며 에이전트는 시각 증거를 우선 사용해 응답을 도출한다. 이 구조는 폐쇄형 벤치마크가 아닌 개방형 상호작용을 전제로 설계되었다.

출처-수준과 응답-수준의 신뢰도 제어 메커니즘

Source Control에서는 접근성, 텍스트 충분도, 도메인 우선도 등을 결합해 검색 결과를 필터링하고 최대 5개의 다양성 기반 대표 증거를 선택했다. Response Control은 초안 응답을 주장 단위로 분해해 주장-증거 매트릭스를 계산하고 주장 커버리지·일관성·다중 근거를 가중 합쳐 신뢰도 점수 ψ를 산출했다. ψ가 임계값 τ_conf 미만이면 불확실 모드로 전환해 근거 바운디드 응답을 생성하게 하였다.

훈련-프리 GRPO 스타일의 그룹 상대 선택기 도입

추가 추론 예산이 허용될 때 그룹별 K개의 제어 궤적을 샘플링하고 각 후보에 대해 링크 유효성·주장-증거 지원·중립성 등을 검증해 집단 상대 점수로 최종 응답을 재선택했다. 이 과정은 VLM 본체를 업데이트하지 않으므로 배포 중 모델 재학습 비용을 발생시키지 않았다. 실험에서는 K=4에서 신뢰도 향상이 포화되는 것으로 관찰되어 기본값으로 사용되었다.

핵심 아이디어 이해하기

문제 출발점은 VLM이 단순한 시각 인식에는 강하지만 문화유산과 같은 전문 영역에서는 시각 단서만으로 충분한 근거가 확보되지 않을 때 과잉 확신으로 잘못된 설명을 생성하는 경향이 있다는 점이다. 도기 해석은 형태, 회화 기법, 도상학, 연대, 출처 같은 다층적 정보에 의존하므로 시각 증거와 외부 문헌 근거의 조합이 필요하다. 기존의 단회 RAG나 대규모 재학습 방식은 신뢰성 확보와 배포 비용 측면에서 제약이 있었다.

방법론

VaseAgent의 전체 흐름은 시각 인식 단계, 반복적 외부 탐색 루프(DeepResearch 스타일), 출처 제어, 응답 제어로 구성되어 있다. 입력(q, I)이 주어지면 VLM은 먼저 시각적 단서를 추출하고 바로 답할 수 없는 경우에는 검색 도구를 호출해 쿼리-응답 루프를 수행한다. 각 검색 반환물은 Source Control에 의해 접근성 a(h)와 텍스트 충분도 c(h)를 계산해 s_val(h)=0.55 a(h)+0.45 c(h) 조건으로 초기 유효성 필터를 통과해야 하며 이후 phi_pre와 MMR 기반 다양성 선택을 거쳐 최대 N_src=5개의 증거로 정제된다.

주요 결과

주요 실험은 세 가지 태스크(V-Only, V+K, Ambiguous)에서 수행되었고, VaseAgent(Full)는 지식집약형 V+K에서 외부 링크 유효성 60.00%와 중립성 점수 3.75를 달성해 검색만 쓰는 기반 대비 유의미한 개선을 보였다. Hallucination 비율은 V+K에서 0.22로 낮아졌고 groundedness는 0.73을 기록해 근거 기반 응답이 증가했음이 확인되었다. Ablation에서는 출처 관련 신호를 제거하면 링크 유효성이 크게 떨어지고 응답-수준 신호를 제거하면 중립성 점수가 낮아져 두 제어층이 상보적 역할을 함이 드러났다.

기술 상세

전체 아키텍처는 모듈성에 중점을 두어 시각-언어 백본, 검색 도구, Source Control, Response Control, 그리고 선택기(그룹 기반 GRPO)를 분리해 구현하였다. Source Control에서는 접근성 a(h), 텍스트 충분도 c(h), 도메인 우선도 ρ_site(h), 토큰 단위 관련도 rel(h)를 이용해 φ_pre(h)=0.35 rel(h)+0.25 q_src(h)+0.20 a(h) 로 사전 점수를 계산하고 MMR(λ_MMR=0.72)을 통해 다양성 보강과 도메인 신규성 보상을 조합했다. Response Control은 초안 응답을 주장 단위로 분해한 뒤 주장-증거 매트릭스를 구축해 c_cov, κ_cons, ω_multi, m_E, n_conf 요소를 가중 합해 ψ를 계산하고 ψ<τ_conf(=0.52)인 경우 불확실 모드로 전환한다.

한계점

논문이 명시한 한계는 외부 웹·박물관 소스의 품질과 가용성에 의존한다는 점이다. 현재 구현은 고대 그리스 도기에 초점을 맞추었으므로 다른 유물 유형이나 언어로의 일반화에는 추가 도메인 검증이 필요하다. 또한 링크 유효성 및 중립성 평가는 인간 판단이 포함되므로 더 넓은 전문가 평가와 명확한 합의 분석이 필요하다.

실무 활용

이 프레임워크는 가상 전시나 온라인 컬렉션에서 시각 증거와 외부 학술 자원을 결합해 근거표기된 안내를 제공하는 실무적 대안이 된다. 모델 본체를 재학습하지 않고도 출처 필터링과 응답 보정을 통해 전시용 안내의 신뢰도를 개선할 수 있도록 설계되었다. 공개된 코드 저장소가 있어 소스 검증, 도메인 확장, UI 통합 등의 실무 적용이 가능하다.

박물관 웹 전시에서 사용자가 전시물을 조회할 때 자동으로 접근 가능한 학술·카탈로그 링크를 검증해 근거와 함께 설명을 제공하는 보조 도구로 활용할 수 있다.
교육 플랫폼에서 고고학 또는 미술사 질문에 대해 시각 단서와 문헌 근거를 조합한 답변을 제시해 학생의 비판적 검증 학습을 지원하는 데 적용할 수 있다.
기관 내부 큐레이션 업무에서 불확실하거나 상충하는 전거를 자동으로 감지하고 응답 초안을 불확실 모드로 표기해 인간 학예사의 검토 워크플로를 보조하는 도구로 사용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

VLM(vision-language model)multimodal(멀티모달)GRPO(그룹 상대 정책 최적화)DeepResearch(계획 기반 반복 검색)source-control(출처 제어)

용어 해설

그룹 상대 정책 최적화(GRPO): — GRPO는 학습을 수행하지 않고도 여러 후보 응답을 그룹 단위로 비교하여 신뢰성 지표가 높은 출력을 선택하는 훈련-프리 선택 메커니즘이다. 각 후보 궤적에서 링크 유효성, 주장-증거 커버리지, 중립성 등을 경량 검증기에 의해 평가하고 집단 상대 점수로 최종 출력을 고른다. 이 방식은 VLM 본체를 업데이트하지 않으면서 응답 신뢰도를 높이는 데 중요하다.
딥리서치 스타일 지식 획득(DeepResearch): — DeepResearch는 에이전트가 질의를 하위 과제로 분해하고 반복적 검색-수집-합성을 수행해 증거를 모으는 계획 기반 도구 루프이다. 이 방식은 단회 검색보다 반복적으로 검색 질의를 개선하고 더 풍부한 증거 풀을 구성할 수 있게 한다. VaseMuseum에서는 시각 단서가 부족할 때 외부 근거를 얻기 위해 해당 루프를 활용하였다.
출처 제어(Source Control): — Source Control은 검색 결과에 대해 접근성, 텍스트 충분도, 도메인 우선도 등을 계산해 유효성 필터링과 다양성 기반 선택을 수행하는 전처리 계층이다. 유효도 s_val와 사전-다양성 점수 phi_pre를 통해 낮은 품질의 링크를 제거하고 최대 N_src 개의 대표적 증거를 선택한다. 이 계층은 잘못된 인용과 중복 증거 유입을 줄여 생성 단계의 근거 오염을 낮춘다.
응답 제어(Response Control): — Response Control은 초안 응답을 개별 주장 단위로 분해하고 각 주장에 대해 증거 커버리지를 계산해 응답 신뢰도 점수 ψ를 산출하는 후처리 계층이다. ψ는 주장 커버리지, 일관성, 다중 근거 지원 비율, 충돌 패널티를 가중 합산하여 결정되며 임계값 τ_conf 미만이면 불확실 모드로 전환한다. 이 메커니즘은 근거가 부족하거나 상충할 때 증거 기반의 겸허한 답변을 도출하는 역할을 한다.

코드 예제

text

1: Input: query q, observation I, VLM M, rounds R_max
2: Output: answer a
3: D <- (q, I); E <- ∅; a_tilde <- ∅
4: for t = 1 to R_max do
5:   Sample m_t ~ M(D); append m_t to D
6:   if m_t contains no tool request then
7:     a_tilde <- m_t; break
8:   end if
9:   for each tool request in m_t do
10:    Execute tool and obtain payload y
11:    E_t <- SourceControl(q, y)
12:    E <- Merge(E, E_t)
13:    Append E_t to D
14:   end for
15: end for
16: if a_tilde = ∅ then
17:   Generate final draft a_tilde ~ M(D)
18: end if
19: g <- ResponseControl(q, a_tilde, E)
20: a <- Calibrate(a_tilde, g)
21: return a

이 의사코드는 VaseAgent의 온라인 추론 절차를 나타낸다. 입력으로 질의와 관찰을 받은 뒤 VLM과의 상호작용으로 도구 호출을 수행하고 각 도구 반환물은 Source Control 단계에서 검증되어 증거 풀에 합쳐진다. 최종 초안은 Response Control로 감사되어 보정되며 보정 결과가 출력으로 선택된다.

VaseMuseum: 고대 그리스 도기용 지능형 디지털 박물관

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드