ViQ: 임의 해상도에서 텍스트 정렬된 시각 양자화 표현

ViQ는 이미지 특징을 텍스트처럼 이산 토큰으로 표현하면서도 고수준 의미와 저수준 세부를 동시에 유지하도록 설계된 점이 핵심이다. 이산 표현은 저장 및 훈련에서 효율성을 크게 높이므로 멀티모달 대규모 학습에서 실질적인 비용·시간 절감으로 이어진다. 논문은 이러한 균형을 달성하면서도 다양한 벤치마크에서 연속 특징 기반 인코더와 경쟁할 수 있음을 실험으로 입증했다.

멀티모달 언어 모델은 텍스트를 토큰화된 이산 기호로 처리하는 반면, 전통적 시각 인코더는 연속 고차원 특징을 생성하므로 두 표현 간 불일치가 존재한다. 이 불일치는 멀티모달 정렬과 학습 효율성에 제약을 가하며, 특히 고해상도 이미지를 처리할 때 연속 특징의 계산·메모리 비용이 크게 증가한다. 따라서 시각 정보를 텍스트처럼 이산화하면 저장과 훈련 효율을 개선할 수 있지만, 단순 양자화는 의미 정보나 저수준 세부를 희생하는 문제가 발생한다.

ViQ는 두 단계 학습 파이프라인을 채택했다. 첫 단계에서는 텍스트 정렬 사전학습을 수행하여 시각 연속 특징을 언어 모델의 감독 신호와 정렬시켰고, 고정 해상도 교사의 의미 토큰을 self-distillation 손실로 유지했다. 이 과정에서는 positional embedding을 동적으로 리사이즈 가능한 형태로 대체하여 native-resolution 입력을 지원했다.

ViQ는 멀티모달 이해 벤치마크에서 연속 인코더와 경쟁 가능한 성능을 보였다. 제시된 집계 점수는 Qwen2.5-1.5B와 결합했을 때 평균 57.2, Qwen2.5-7B와 결합했을 때 평균 63.9로 보고되었다. 효율성 측면에서 오프라인 코드 추출을 활용한 훈련 방식은 다양한 모델 규모와 시퀀스 길이에서 20%~70%의 속도 향상을 달성했으며, 재구성 실험에서는 PSNR 22.73과 rFID 0.62를 기록했다.

전체 아키텍처는 연속 시각 인코더에서 시작하여 병목층을 거쳐 최종적으로 FSQ 기반 양자화 모듈로 전환되는 두 단계 워크플로우로 구성된다. 구체적으로 연속 출력 차원 C=1536에서 병목층으로 축소하여 D=128, 그 뒤 추가 압축으로 d=6 차원까지 낮춘다. 양자화는 FSQ를 사용하고 레벨 배열 ℒ=[8,8,8,5,5,5]로 설정하여 총 코드북 크기 64,000을 확보했다.

논문은 대형 파라미터 기반의 초대형 모델(예: 70B 이상)과의 결합 실험이 미비하다고 명시했다. 또한 근접 표현과 양자화의 견고성은 대규모 언어-이미지 사전학습 데이터의 품질과 다양성에 의존한다는 점이 언급되었다. 세부적으로는 OCR처럼 고주파 정보에 민감한 과제에서 연속 인코더에 비해 여전히 성능 격차가 존재한다.