ColPali: 시각적 문서를 위한 지연 상호작용(Late Interaction) 모델

• •OCR의 레이아웃 손실 및 도표 왜곡 문제 해결
• •이미지 직접 처리 방식 채택으로 정보 보존 극대화
• •지연 상호작용 패러다임을 시각적 문서로 확장

Late Interaction은 쿼리와 문서의 각 토큰을 독립적으로 임베딩한 후 검색 시점에 상호작용시키는 기법으로, ColBERT에서 처음 제안되었다.

• •SigLIP-So400m 시각 인코더와 Gemma-2B 언어 모델 결합
• •LoRA를 통한 문서 검색 작업 특화 미세 조정
• •시각적 특징과 언어적 문맥의 통합 이해 구현

LoRA(Low-Rank Adaptation)는 모델의 전체 파라미터를 수정하지 않고 일부 가중치만 학습시켜 효율적으로 미세 조정하는 기법이다.

• •448x448 이미지를 1024개 패치로 분할하여 처리
• •패치당 128차원 임베딩 생성으로 고해상도 정보 유지
• •MaxSim 기반의 정교한 텍스트-이미지 패치 매칭

MaxSim은 쿼리 토큰과 문서 토큰 간의 코사인 유사도 중 최대값을 찾아 합산하는 점수 계산 방식이다.