PhotoBench: 시각적 매칭을 넘어 개인화된 의도 중심 사진 검색으로

기존 사진 검색 AI는 웹 이미지 위주의 단순 시각 매칭에만 최적화되어 있어 실제 사용자의 복잡한 맥락을 이해하지 못한다. PhotoBench는 실제 개인 앨범의 시공간 메타데이터와 사회적 관계를 반영한 최초의 벤치마크로, 차세대 개인화 검색 시스템 개발을 위한 핵심 지표를 제공한다.

기존의 사진 검색은 이미지를 벡터 Embedding으로 변환하여 텍스트 쿼리와의 거리만 계산하는 방식에 의존한다. 하지만 "작년 생일 파티에서 친구와 찍은 사진"이라는 쿼리는 시각적 정보뿐만 아니라 시간(작년), 사건(생일 파티), 인물(친구)이라는 비시각적 제약 조건이 교차하는 지점을 찾아야 한다. 기존 모델들은 이러한 다중 소스 정보를 하나의 벡터 공간에 충분히 담아내지 못해 검색에 실패한다.

PhotoBench는 사진을 단순한 픽셀 데이터가 아닌 시각(V), 시공간 메타데이터(M), 사회적 관계(F), 시간적 사건(E)의 결합체로 정의한다. 이를 통해 모델이 각 정보를 독립적으로 처리한 뒤 논리적으로 결합해야 하는 환경을 구축한다. 이는 단순한 유사도 계산을 넘어선 고차원적인 추론 능력을 요구한다.

결과적으로 이 논문은 현재의 AI가 시각적 힌트가 뚜렷한 상황에서는 잘 작동하지만, 논리적 제약 조건이 복잡해질수록 성능이 급락하는 지점을 정확히 짚어낸다. 이는 향후 개인화 검색 시스템이 단순 임베딩 중심에서 벗어나, 여러 도구를 정교하게 조율하는 에이전트 구조로 진화해야 함을 시사한다.

이미지 $i$에 대해 시각적 특징 $V_i$, 시공간 메타데이터 $M_i$, 사회적 관계 $F_i$, 시간적 사건 $E_i$를 추출하여 통합 프로필 $P_i = \{V_i, M_i, F_i, E_i\}$를 구성한다. MLLM(GPT-4o)을 사용하여 이미지의 세부 시각 정보를 캡션화하고, GPS 좌표를 의미론적 장소명으로 변환하며, 얼굴 인식을 통해 인물 간의 관계 그래프를 생성한다.

사용자의 삶의 궤적을 반영하기 위해 앵커 이미지와 그 이전 사건들의 요약을 MLLM에 입력하여 잠재적 의도 $I_i$를 추론한다. [이전 사건들의 텍스트 요약 → MLLM 추론 → 사용자의 검색 동기] 순으로 연산하여 현실적인 쿼리를 생성한다. 생성된 쿼리는 시각, 메타데이터, 관계 정보 중 최소 2개 이상의 소스를 결합해야만 풀 수 있도록 설계된다.

정답지 구축을 위해 시각적 유사도 검색, 의미론적 검색, 에이전트 기반 필터링을 결합한 Exhaustive Ground Truth Mining을 수행한다. [쿼리 입력 → 다중 검색 도구 실행 → 후보군 50개 추출 → 인간 전문가 검증] 과정을 거쳐 누락 없는 정답 셋을 확보하며, 정답이 없는 Zero-GT 쿼리를 추가하여 시스템의 거절 능력도 평가한다.

통합 임베딩 모델(VLM2Vec 등)은 순수 시각 쿼리($S_V$)에서는 Recall@10 기준 72.3%의 높은 성능을 보였으나, 메타데이터($S_M$)나 얼굴($S_F$) 제약이 포함된 쿼리에서는 각각 7.2%, 11.7%로 성능이 급락하는 '모달리티 갭'을 보였다. 이는 임베딩 공간이 비시각적 제약 조건을 정밀하게 인코딩하지 못함을 의미한다.

에이전트 시스템은 도구 활용을 통해 임베딩 모델보다 월등한 성능을 기록했으나, 쿼리에 포함된 정보 소스가 많아질수록 성능이 비선형적으로 저하되는 '소스 융합 역설'이 관찰되었다. 단일 소스 쿼리 대비 3개 소스 융합 쿼리에서 F1 스코어가 최대 46.6%p 하락하며, 이는 복잡한 제약 조건을 논리적으로 조합하는 오케스트레이션 능력이 현재 기술의 병목임을 시사한다.

상용 모바일 갤러리 시스템(iPhone, Android 등) 평가 결과, 대부분의 시스템이 비시각적 제약 처리에 어려움을 겪었으며, 특히 사회적 관계($S_F$) 검색에서 에이전트 시스템 대비 현저히 낮은 성능을 기록했다. 일부 시스템은 쿼리가 복잡해질 때 오히려 성능이 반등하는 현상을 보였는데, 이는 논리적 추론 대신 시각적 키워드에만 의존하는 '시각적 앵커 효과' 때문으로 분석되었다.

PhotoBench는 3,582개의 실제 개인 사진과 1,188개의 이국어 쿼리로 구성되며, 83.4%의 이미지가 고정밀 GPS 및 타임스탬프 메타데이터를 유지한다. 데이터는 2018년부터 2025년까지의 광범위한 시간 범위를 다루며, 20명의 고유 인물에 대한 사회적 관계망 정보를 포함한다.

제안된 에이전트 프레임워크는 4B 파라미터 규모의 VLM을 Planner 및 Evaluator로 사용하며, 2B VLM 기반 임베딩 모델을 검색 엔진으로 활용한다. 시스템은 3단계 라우팅 구조를 가지며, 단순 키워드 매칭에서 시작하여 의도 중심의 하이브리드 검색을 거쳐 최종적으로 에이전트 기반의 복잡한 추론 단계로 에스컬레이션된다.

연구팀은 '시각적 앵커 효과(Visual-Anchor Effect)'를 정의했는데, 이는 모델이 복잡한 메타데이터 제약을 무시하고 쿼리에 포함된 특정 시각적 단어(예: '케이크')에만 반응하여 결과를 찾는 현상이다. 이는 겉보기 성능은 높일 수 있으나 실제 사용자의 정교한 의도를 만족시키지 못하는 기만적인 결과임을 실험적으로 입증했다.

상용 모바일 시스템은 특정 시나리오(문서, 반려동물 등)에 고도로 최적화되어 있어, 일반적인 벤치마크 결과가 실제 제조사의 내부 벤치마크와는 다를 수 있음을 명시했다.