MTEB ViDoRe 리더보드 1위를 달성한 ColQwen3.5-4.5B-v3 모델 공개

개발자의 투명한 실험 과정 공개와 효율적인 모델 성능에 대해 긍정적인 반응을 보였다. 특히 vLLM 지원을 통해 즉시 사용 가능하다는 점이 높게 평가받았다.

• colpali-engine 또는 vLLM을 사용하여 즉시 추론 환경을 구축할 수 있다.
• 메모리 효율성이 중요할 경우 기존 8B 모델 대신 4.5B 규모의 ColQwen3.5-v3를 고려한다.
• AMD GPU 사용자라면 vLLM의 ROCm 지원을 통해 이 모델을 구동할 수 있다.

시각적 문서 검색 벤치마크(ViDoRe)

— Visual Document Retrieval의 약자로, 텍스트뿐만 아니라 이미지, 도표, 수식이 포함된 시각적 문서를 AI 모델이 얼마나 잘 검색하고 이해하는지 평가하는 벤치마크이다. 시각 언어 모델(VLM)의 성능을 측정하는 핵심 지표로 활용된다.

임베딩 차원(Embedding Dimension)

— 데이터를 수치적 벡터로 변환할 때 사용하는 공간의 크기이다. 차원이 작을수록 저장 공간과 계산 비용이 줄어들지만, 너무 작으면 데이터의 복잡한 특징을 충분히 담아내지 못해 성능이 저하될 수 있다.

메모리 점유율(Memory Footprint)

— 프로그램이나 모델이 실행되는 동안 메인 메모리(RAM) 또는 GPU 메모리에서 차지하는 공간의 양이다. 메모리 점유율이 낮을수록 더 저렴한 하드웨어에서 실행 가능하며, 동시에 더 많은 요청을 처리할 수 있다.

콜팔리(ColPali)

— 시각 언어 모델을 활용하여 문서의 시각적 특징을 다중 벡터(multi-vector) 형태로 임베딩하고 검색하는 기법이다. 기존의 텍스트 기반 검색보다 복잡한 레이아웃의 문서를 더 정확하게 찾아내는 데 효과적이다.

라데온 오픈 컴퓨팅(ROCm)

— AMD에서 개발한 오픈소스 소프트웨어 플랫폼으로, GPU 가속 컴퓨팅을 지원한다. NVIDIA의 CUDA와 유사한 역할을 하며, 딥러닝 프레임워크가 AMD 그래픽 카드에서 효율적으로 작동하도록 돕는다.