절반의 진실이 유사도 기반 검색을 무너뜨린다

이미지 검색 모델이 정확한 설명보다 잘못된 정보가 섞인 긴 설명을 더 선호하는 '절반의 진실' 취약점을 발견했다. 이를 해결하기 위해 문장을 개별 요소 단위로 학습시키는 CS-CLIP을 제안하여 검색의 정확도와 문맥 이해도를 대폭 향상시켰다.

왜 중요한가

핵심 기여

Half-truth Vulnerability 진단

기존 CLIP 모델들이 이미지와 맞지 않는 세부 정보를 추가했을 때 오히려 유사도 점수가 높아지는 현상을 정량적으로 정의하고 입증함.

CS-CLIP (Component-Supervised CLIP) 제안

캡션을 엔티티와 관계 단위로 분해하고, 각 단위에 대해 미세하게 수정된 대조군(foil)을 사용하여 학습하는 새로운 파인튜닝 기법을 개발함.

Half-Truth Diagnostic 구축

MS-COCO 데이터셋을 기반으로 모델이 잘못된 추가 정보를 얼마나 잘 걸러내는지 측정하는 25,606개의 테스트 케이스를 생성함.

구성적 이해력(Compositional Understanding) 향상

16개의 벤치마크에서 CLIP 대비 평균 5.7%p 성능 향상을 달성하며 모델의 논리적 구조 파악 능력을 개선함.

핵심 아이디어 이해하기

CLIP과 같은 Dual Encoder 모델은 이미지와 텍스트를 각각 벡터 공간(Embedding Space)에 투영하여 유사도를 계산한다. 하지만 기존 학습 방식은 문장 전체를 하나의 단위로만 정렬하기 때문에, 모델이 문장 속 개별 단어들의 집합(Bag-of-words)으로만 이미지를 파악하고 단어 간의 논리적 관계나 세부 정보의 진위 여부를 무시하는 경향이 있다.

이로 인해 "개"라는 정확한 설명보다 "스케이트보드를 타는 개"라는 설명(실제로 스케이트보드가 없더라도)에 더 높은 점수를 주는 현상이 발생한다. 이는 모델이 '개'라는 키워드에만 집중하고 '스케이트보드'가 실제로 존재하는지 검증하지 못하기 때문이다.

CS-CLIP은 문장을 "갈색 말", "말이 들판에 있다"와 같은 최소 의미 단위(Unit)로 쪼개어 학습한다. 각 단위에 대해 "흰색 말"처럼 살짝 바뀐 가짜 데이터(Foil)를 만들어 모델이 진짜와 가짜를 구별하도록 강제함으로써, 모델이 문장의 세부 구조를 꼼꼼히 따지도록 만든다.

방법론

캡션 파싱 및 단위 추출을 위해 LLM을 사용하여 전체 캡션을 엔티티 단위(Entity Units)와 관계 단위(Relation Units)로 분해한다. [텍스트 캡션 → LLM 파싱 → 개별 의미 단위 리스트] 순으로 처리하여 문장의 구조적 요소를 식별한다.

각 단위에서 단 하나의 요소만 변경하여 문맥상 자연스럽지만 이미지와는 맞지 않는 가짜 단위(Foil)를 생성한다. 예를 들어 "brown horse"는 "white horse"로, "near"는 "inside"로 변경한다. [원본 단위 → 최소 편집 연산 → 가짜 단위] 과정을 통해 모델이 집중해야 할 미세한 차이를 정의한다.

단위 수준 손실 함수(Unit-level Loss)를 적용한다. 이미지 임베딩 v_i와 정답 단위 u_{i,k}, 가짜 단위 u_tilde_{i,k} 사이의 유사도를 계산한다. [이미지/텍스트 벡터 → 내적 및 지수 연산 → 확률 값 → 정답 단위에 대한 할당 비중] 순으로 계산하여 정답 단위의 점수는 높이고 가짜 및 다른 이미지의 단위 점수는 낮춘다.

최종적으로 기존의 문장 전체 대조 학습 손실(L_global)과 단위 수준 손실(L_unit)을 가중치 0.5로 결합하여 최종 손실 함수 L_CS를 구성한다. 이를 통해 전체적인 문맥 정렬을 유지하면서도 세부적인 구성 요소에 대한 민감도를 높인다.

주요 결과

MS-COCO Half-Truth Accuracy 실험에서 제로샷 CLIP이 40.6%의 정확도를 보인 반면, CS-CLIP은 69.3%를 기록하여 잘못된 정보 추가를 훨씬 더 잘 식별해냈다. 특히 관계 추가(Relation additions)에 대한 정확도는 32.9%에서 65.5%로 두 배 가까이 상승했다.

ARO, SugarCrepe 등 16개 주요 벤치마크에서 CLIP 대비 평균 5.7%p 높은 성능을 보였으며, 특히 객체 간의 관계를 파악하는 Role Sensitivity 항목에서 40.1%로 가장 높은 성능을 기록했다.

ImageNet 분류 성능은 63.6%에서 59.9%로 소폭 하락했으나, Flickr8k 및 MS-COCO 검색 작업에서는 Recall@1 기준 각각 11.6%p, 9.0%p 향상되어 실질적인 검색 품질 개선을 입증했다.

기술 상세

CS-CLIP은 CLIP의 Dual Encoder 구조를 변경하지 않고 학습 목적 함수(Objective Function)만 개선하여 추론 시 추가적인 연산 비용이 발생하지 않도록 설계되었다. 핵심은 캡션을 엔티티와 관계라는 원자적 구성 요소로 분해하는 Component-level Supervision이다.

학습 과정에서 LLM(Qwen3-8B)을 오프라인 파서로 활용하여 대규모 데이터셋에 대한 단위 추출 및 Foil 생성을 자동화했다. 이는 수동 레이블링 없이도 고품질의 대조 데이터를 확보할 수 있게 한다.

실험 결과, 텍스트 엔코더나 이미지 엔코더 중 하나만 학습시키는 것보다 두 엔코더를 모두 업데이트하는 Full Fine-tuning이 관계 파악 능력 향상에 필수적임이 확인되었다. 또한 캡션당 단위 수(N)나 관계 단위의 비율(p) 등의 하이퍼파라미터가 성능에 미치는 영향을 분석하여 최적의 설정을 도출했다.

한계점

텍스트 전용 LLM 파싱에 의존하므로 캡션에 표현되지 않은 시각적 세부 사항은 학습에 반영되지 않을 수 있다. 또한 특정 데이터셋(COCO)에 파인튜닝할 경우 일반적인 제로샷 분류 성능이 일부 저하되는 트레이드오프가 존재한다.

실무 활용

이미지 검색 엔진이나 시각 장애인용 설명 생성 시스템에서 잘못된 세부 정보가 포함되는 것을 방지하는 데 즉시 활용 가능하다. 기존 CLIP 아키텍처를 그대로 유지하면서 파인튜닝만으로 성능을 개선할 수 있다.

전자상거래 사이트의 정교한 상품 이미지 검색
AI 생성 이미지의 텍스트 일치도 검증 및 필터링
자율주행 시스템의 시각적 상황 묘사 정확도 향상
시각 장애인을 위한 고정밀 이미지 캡셔닝 서비스

코드 공개 여부: 공개

코드 저장소 보기

키워드

CLIP(대조적 언어-이미지 사전 학습)Compositional Understanding(구성적 이해)Half-Truth(절반의 진실)Fine-tuning(미세 조정)Image-Text Retrieval(이미지-텍스트 검색)

용어 해설

듀얼 인코더(Dual Encoder): — 이미지와 텍스트를 각각 독립적인 신경망으로 처리하여 동일한 벡터 공간에 투영하는 아키텍처이다. 두 데이터 간의 유사도를 빠르게 계산할 수 있어 대규모 검색 시스템의 핵심 기술로 사용된다.
대조 학습(Contrastive Learning): — 서로 관련된 데이터 쌍은 가깝게, 관련 없는 쌍은 멀게 배치하도록 모델을 학습시키는 기법이다. CLIP의 핵심 학습 원리로, 정답 캡션과 오답 캡션을 구별하는 능력을 키워준다.
구성적 이해(Compositional Understanding): — 문장을 구성하는 개별 단어들의 의미뿐만 아니라, 그들이 결합되어 형성하는 논리적 구조와 관계를 파악하는 능력이다. AI가 "개가 사람을 문다"와 "사람이 개를 문다"의 차이를 구별하는 데 필수적이다.
대조군(포일)(Foil): — 정답 데이터와 매우 유사하지만 단 하나의 핵심적인 요소만 틀리게 조작된 가짜 데이터이다. 모델이 미세한 차이를 구별하도록 훈련시켜 변별력을 극대화하는 용도로 사용된다.

절반의 진실이 유사도 기반 검색을 무너뜨린다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기