챕터별 상세
00:41
공간적 대응 관계의 핵심 원리
ColPali는 이미지를 1,024개의 패치로 나누어 각각 임베딩을 생성하며, 각 패치 인덱스는 이미지의 특정 좌표와 직접 연결된다. 패치 인덱스 i를 32로 나눈 몫은 행(row), 나머지는 열(column)이 되며, 여기에 패치 크기인 14를 곱하면 원본 이미지의 픽셀 좌표를 얻을 수 있다. 쿼리 토큰이 특정 패치 임베딩과 높은 유사도를 보이면 문서의 해당 위치에서 매칭이 발생했음을 정확히 알 수 있다. 이 공간적 대응 관계가 ColPali 시각적 해석의 기초가 된다.
ColPali는 448x448 해상도의 이미지를 14x14 크기의 패치로 나누어 총 32x32(1,024개)의 패치를 생성한다.
01:27
히트맵 시각화 구현 프로세스
특정 쿼리 토큰과 1,024개 패치 임베딩 간의 내적(dot product) 유사도를 계산하여 32x32 크기의 유사도 맵을 생성한다. 이 맵을 원본 이미지 크기인 448x448로 업샘플링한 후 Jet 컬러맵을 적용하여 빨간색(높음)에서 파란색(낮음)으로 시각화한다. 생성된 히트맵을 원본 이미지 위에 투명하게 겹치면 모델이 쿼리의 각 단어에 대해 문서의 어느 영역을 집중적으로 보았는지 확인할 수 있다. 실제 예시에서 'Einstein'이라는 단어가 문서 내의 이름과 사진 영역을 정확히 가리키는 결과가 나타났다.
업샘플링은 낮은 해상도의 유사도 맵을 원본 이미지 크기에 맞춰 확장하여 시각적 정밀도를 높이는 과정이다.
02:33
실무 적용 사례 및 MaxSim 시각화
시각적 해석 기능은 예상치 못한 검색 결과를 디버깅하거나 사용자에게 검색 근거를 제시하여 신뢰를 구축하는 데 활용된다. 특히 MaxSim 기여도 시각화는 각 패치가 모든 쿼리 토큰 중 얻은 최대 유사도 값을 사용하여 문서 전체의 관련성을 한눈에 파악하게 해준다. 이를 통해 모델이 의미론적 내용에 집중하는지 아니면 단순한 시각적 유사성에 반응하는지 검증하고 엣지 케이스를 식별할 수 있다. 시각적 증거는 시스템이 쿼리를 실제로 이해하고 있는지 판단하는 강력한 도구가 된다.
MaxSim은 ColBERT 아키텍처에서 유래한 방식으로, 멀티 벡터 간의 최대 유사도를 합산하여 최종 점수를 산출한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 25.수집 2026. 03. 25.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
