Late Interaction: 멀티 벡터 검색의 기초와 ColBERT의 작동 원리

• •No Interaction은 속도는 빠르나 정보 압축으로 인한 정밀도 저하가 발생함
• •Early Interaction은 정밀도는 최고 수준이나 실시간 대규모 검색에 부적합함
• •Late Interaction은 독립적 인코딩과 토큰 수준 비교를 결합한 모델임

Cross-encoder는 쿼리와 문서를 하나의 입력으로 넣어 Transformer 모델을 통과시키는 방식으로, 계산 비용이 매우 높습니다.

• •문서 내 모든 토큰의 Fine-grained 정보를 벡터 형태로 유지함
• •쿼리 타임에 쿼리 토큰과 문서 토큰 간의 매칭을 수행함
• •상호작용이 스코어링 시점에만 발생하여 사전 계산된 임베딩 활용이 가능함

전통적인 임베딩 모델은 CLS 토큰이나 평균 풀링을 통해 전체 문장을 하나의 벡터로 만드는데, Late Interaction은 이를 거부합니다.

• •문서 임베딩을 한 번만 계산하여 저장하므로 대규모 시스템에 적합함
• •토큰 수준 매칭으로 단어의 중의성을 완벽하게 해소함
• •단일 벡터 검색 대비 훨씬 높은 검색 재현율(Recall)과 정밀도(Precision)를 제공함

문맥적 임베딩(Contextual Embedding)은 주변 단어들에 의해 해당 토큰의 벡터 위치가 결정되는 성질을 의미합니다.