CoME-VL: 상호 보완적 멀티 인코더 비전-언어 학습의 확장

기존 비전-언어 모델은 주로 CLIP과 같은 단일 대조 학습 기반 인코더에 의존하여 세밀한 의미 정보 포착에 한계가 있었다. CoME-VL은 이를 해결하기 위해 대조 학습 인코더와 DINO와 같은 자기 지도 학습 인코더의 표현을 통합하는 모듈형 융합 프레임워크를 구축했다. 엔트로피 기반 계층 집계와 직교 제약 투영을 통해 중복을 제거하고, RoPE 강화 교차 어텐션으로 서로 다른 토큰 그리드를 정렬하여 압축된 시각 토큰을 생성한다. 실험 결과 시각적 이해와 접지 작업에서 각각 평균 4.9%와 5.4%의 성능 향상을 기록했으며, 특히 RefCOCO 벤치마크에서 최고 수준의 성능을 달성했다. 이 방식은 표준 VLM 파이프라인에 최소한의 변경만으로 적용 가능하여 실무적인 확장성이 매우 높다.