절반의 진실이 유사도 기반 검색을 무너뜨린다

이미지 검색 모델이 정확한 설명보다 잘못된 정보가 섞인 긴 설명을 더 선호하는 '절반의 진실' 취약점을 발견했다. 이를 해결하기 위해 문장을 개별 요소 단위로 학습시키는 CS-CLIP을 제안하여 검색의 정확도와 문맥 이해도를 대폭 향상시켰다.

CLIP과 같은 Dual Encoder 모델은 이미지와 텍스트를 각각 벡터 공간(Embedding Space)에 투영하여 유사도를 계산한다. 하지만 기존 학습 방식은 문장 전체를 하나의 단위로만 정렬하기 때문에, 모델이 문장 속 개별 단어들의 집합(Bag-of-words)으로만 이미지를 파악하고 단어 간의 논리적 관계나 세부 정보의 진위 여부를 무시하는 경향이 있다.

이로 인해 "개"라는 정확한 설명보다 "스케이트보드를 타는 개"라는 설명(실제로 스케이트보드가 없더라도)에 더 높은 점수를 주는 현상이 발생한다. 이는 모델이 '개'라는 키워드에만 집중하고 '스케이트보드'가 실제로 존재하는지 검증하지 못하기 때문이다.

CS-CLIP은 문장을 "갈색 말", "말이 들판에 있다"와 같은 최소 의미 단위(Unit)로 쪼개어 학습한다. 각 단위에 대해 "흰색 말"처럼 살짝 바뀐 가짜 데이터(Foil)를 만들어 모델이 진짜와 가짜를 구별하도록 강제함으로써, 모델이 문장의 세부 구조를 꼼꼼히 따지도록 만든다.

캡션 파싱 및 단위 추출을 위해 LLM을 사용하여 전체 캡션을 엔티티 단위(Entity Units)와 관계 단위(Relation Units)로 분해한다. [텍스트 캡션 → LLM 파싱 → 개별 의미 단위 리스트] 순으로 처리하여 문장의 구조적 요소를 식별한다.

각 단위에서 단 하나의 요소만 변경하여 문맥상 자연스럽지만 이미지와는 맞지 않는 가짜 단위(Foil)를 생성한다. 예를 들어 "brown horse"는 "white horse"로, "near"는 "inside"로 변경한다. [원본 단위 → 최소 편집 연산 → 가짜 단위] 과정을 통해 모델이 집중해야 할 미세한 차이를 정의한다.

단위 수준 손실 함수(Unit-level Loss)를 적용한다. 이미지 임베딩 v_i와 정답 단위 u_{i,k}, 가짜 단위 u_tilde_{i,k} 사이의 유사도를 계산한다. [이미지/텍스트 벡터 → 내적 및 지수 연산 → 확률 값 → 정답 단위에 대한 할당 비중] 순으로 계산하여 정답 단위의 점수는 높이고 가짜 및 다른 이미지의 단위 점수는 낮춘다.

최종적으로 기존의 문장 전체 대조 학습 손실(L_global)과 단위 수준 손실(L_unit)을 가중치 0.5로 결합하여 최종 손실 함수 L_CS를 구성한다. 이를 통해 전체적인 문맥 정렬을 유지하면서도 세부적인 구성 요소에 대한 민감도를 높인다.

MS-COCO Half-Truth Accuracy 실험에서 제로샷 CLIP이 40.6%의 정확도를 보인 반면, CS-CLIP은 69.3%를 기록하여 잘못된 정보 추가를 훨씬 더 잘 식별해냈다. 특히 관계 추가(Relation additions)에 대한 정확도는 32.9%에서 65.5%로 두 배 가까이 상승했다.

ARO, SugarCrepe 등 16개 주요 벤치마크에서 CLIP 대비 평균 5.7%p 높은 성능을 보였으며, 특히 객체 간의 관계를 파악하는 Role Sensitivity 항목에서 40.1%로 가장 높은 성능을 기록했다.

ImageNet 분류 성능은 63.6%에서 59.9%로 소폭 하락했으나, Flickr8k 및 MS-COCO 검색 작업에서는 Recall@1 기준 각각 11.6%p, 9.0%p 향상되어 실질적인 검색 품질 개선을 입증했다.

CS-CLIP은 CLIP의 Dual Encoder 구조를 변경하지 않고 학습 목적 함수(Objective Function)만 개선하여 추론 시 추가적인 연산 비용이 발생하지 않도록 설계되었다. 핵심은 캡션을 엔티티와 관계라는 원자적 구성 요소로 분해하는 Component-level Supervision이다.

학습 과정에서 LLM(Qwen3-8B)을 오프라인 파서로 활용하여 대규모 데이터셋에 대한 단위 추출 및 Foil 생성을 자동화했다. 이는 수동 레이블링 없이도 고품질의 대조 데이터를 확보할 수 있게 한다.

실험 결과, 텍스트 엔코더나 이미지 엔코더 중 하나만 학습시키는 것보다 두 엔코더를 모두 업데이트하는 Full Fine-tuning이 관계 파악 능력 향상에 필수적임이 확인되었다. 또한 캡션당 단위 수(N)나 관계 단위의 비율(p) 등의 하이퍼파라미터가 성능에 미치는 영향을 분석하여 최적의 설정을 도출했다.

텍스트 전용 LLM 파싱에 의존하므로 캡션에 표현되지 않은 시각적 세부 사항은 학습에 반영되지 않을 수 있다. 또한 특정 데이터셋(COCO)에 파인튜닝할 경우 일반적인 제로샷 분류 성능이 일부 저하되는 트레이드오프가 존재한다.