TIPSv2: 강화된 패치-텍스트 정렬을 통한 시각-언어 사전학습의 진보

기존 시각-언어 모델들이 이미지의 세부 구역(패치)과 텍스트 개념을 연결하는 데 어려움을 겪던 문제를 해결했다. iBOT++라는 새로운 학습 목적 함수와 고도화된 캡션 생성 전략을 통해 이미지의 미세한 부분까지 정확히 이해하는 능력을 갖추게 되었으며, 이는 자율주행이나 정밀 의료 영상 분석 등 정교한 시각 이해가 필요한 분야에 큰 도움을 줄 수 있다.

기존의 시각-언어 모델은 이미지 전체와 문장 전체를 연결하는 데는 능숙하지만, 이미지 속 특정 부분(패치)이 어떤 단어에 대응되는지 파악하는 '패치-텍스트 정렬' 능력이 부족했다. 이는 학습 시 이미지의 일부를 가리고 맞추는 Masked Image Modeling 과정에서 가려지지 않은 부분에 대한 직접적인 학습 신호가 부족했기 때문이다.

TIPSv2는 이 문제를 해결하기 위해 iBOT++라는 기법을 도입했다. 이는 모델이 가려진 부분뿐만 아니라 눈에 보이는 부분에 대해서도 Teacher 모델의 표현력을 그대로 따라 하도록 강제한다. 마치 학생이 시험 문제(가려진 부분)뿐만 아니라 교과서의 예제(보이는 부분)까지 완벽히 복습하게 하여 지식의 공백을 메우는 원리와 같다.

또한, 이미지에 대해 '판다가 나무에 있다'는 단순한 설명뿐만 아니라 '판다가 나무 위에서 다리를 늘어뜨리고 낮잠을 자고 있다'는 식의 매우 상세한 설명을 Gemini AI로 생성해 학습에 활용했다. 이를 통해 모델은 아주 작은 시각적 특징도 구체적인 언어 개념과 연결할 수 있게 되었으며, 결과적으로 별도의 추가 학습 없이도 이미지 내 물체를 정밀하게 구분해내는 능력이 비약적으로 상승했다.

TIPSv2의 핵심 아키텍처는 Vision Transformer(ViT) 기반의 이미지 인코더와 표준 Transformer 기반의 텍스트 인코더로 구성된다. 전체 손실 함수는 L = L_CLIP + L_DINO + L_iBOT++의 조합으로 정의된다.

iBOT++ 메커니즘은 입력 이미지 I에 대해 랜덤 바이너리 마스크 m을 적용하여 가려진 뷰 I_mask를 생성한다. [입력 패치 x_i와 마스크 m_i를 입력으로] → [Student 네트워크 f_s와 Teacher 네트워크 f_t를 통해 임베딩을 추출하고] → [모든 패치(m_i=1 및 m_i=0)에 대해 Teacher의 출력과 Student의 출력을 비교하는 cross-entropy 손실을 계산하여] → [가시적 패치와 마스킹된 패치 모두에서 표현의 일관성을 확보한다].

학습 효율화를 위해 Head-only EMA를 적용한다. [Student의 프로젝터 헤드 가중치 h_s를 입력으로] → [지수 이동 평균 연산을 통해 Teacher의 헤드 h_t를 업데이트하고] → [메인 인코더 f_s는 Teacher와 공유(f_t = f_s)하여] → [전체 파라미터를 복제하지 않고도 학습 안정성을 유지하며 메모리 사용량을 줄인다].

ADE150, Pascal Context(PC59/PC60), Pascal VOC(VOC21) 등 주요 제로샷 세그멘테이션 벤치마크에서 기존 SOTA 모델들을 압도했다. 특히 TIPS ViT-g 모델에 iBOT++를 적용했을 때 ADE150 mIoU가 3.5에서 17.6으로 약 5배 이상 급증하는 결과를 보였다.

이미지-텍스트 검색 작업에서도 Flickr30K 및 DOCCI 데이터셋에서 최고 수준의 Recall@1 성능을 기록했다. TIPSv2 L/14 모델은 COCO I→T 검색에서 75.7%를 기록하여 더 큰 규모의 모델인 PE-core G/14(75.4%)보다 우수한 성능을 입도했다.

Ablation Study를 통해 iBOT++, 다중 입도 캡션, Head-only EMA가 각각 성능 향상에 기여함을 입증했다. 특히 iBOT++ 도입 시 PASCAL 세그멘테이션 성능이 14.1 mIoU 상승하며 패치 수준의 정렬이 모델의 공간 이해도에 핵심적임을 확인했다.

TIPSv2는 1.1B 파라미터의 ViT-g 모델을 직접 사전학습한 후, 이를 Teacher로 삼아 ViT-B, ViT-L 등 작은 모델들로 패치 수준의 지식 증류(Distillation)를 수행하는 전략을 취한다. 이 과정에서 Student 모델의 이미지 인코더를 랜덤 초기화하는 것이 사전학습된 가중치를 사용하는 것보다 패치-텍스트 정렬 학습에 더 효과적임을 발견했다.

텍스트 증강 측면에서는 WebLI 데이터셋의 노이즈 섞인 웹 캡션과 PaliGemma의 객체 중심 캡션, 그리고 Gemini 1.5 Flash가 생성한 상세한 문맥 캡션을 무작위로 교체하며 학습시킨다. 이는 모델이 단순한 단어 매칭을 넘어 복잡한 문장 구조와 시각적 세부 사항 간의 관계를 학습하도록 유도한다.

구현 측면에서 90k 스텝의 저해상도(224px) 학습 후 9k 스텝의 고해상도(448px) 적응 학습을 진행한다. TPUv5 512 칩을 사용하여 2일간 학습을 진행했으며, Adafactor 옵티마이저와 프로젝션 헤드의 붕괴를 막기 위한 EMA 센터링 및 샤프닝 기법을 적용하여 학습 안정성을 확보했다.