FVG-PT: 시각-언어 모델을 위한 적응형 전경 뷰 가이드 프롬프트 튜닝

CLIP과 같은 시각-언어 모델을 튜닝할 때 모델이 배경에 한눈파는 '어텐션 시프트' 문제를 해결하여 정확도를 높였다. 전경 물체에 집중하면서도 기존 지식을 보존하는 설계로 새로운 데이터에 대한 일반화 성능을 동시에 확보한 것이 핵심이다.

시각-언어 모델(VLM)은 이미지의 특정 영역과 텍스트 임베딩을 연결하는 Attention 메커니즘을 기반으로 동작한다. 하지만 프롬프트 튜닝 과정에서 모델은 정답을 맞히기 위해 물체 자체가 아닌 배경의 우연한 특징에 의존하는 경향을 보이는데, 이를 '어텐션 시프트'라고 한다. 이는 마치 학생이 문제의 핵심 원리 대신 주변 단서로만 답을 찍는 것과 유사하여, 조금만 환경이 바뀌어도 오답을 낼 확률이 높아진다.

FVG-PT는 이미지에서 물체만 따로 떼어낸 '전경 뷰'를 정답지로 활용하여 모델의 시선을 다시 물체로 돌려놓는다. 단순히 전경을 강요하는 것이 아니라, 추출된 전경 정보가 얼마나 정확한지 스스로 판단하는 '신뢰도 게이트'를 거친다. 신뢰도가 높을 때만 전경 정보를 강하게 반영하도록 설계하여 잘못된 가이드로 인한 성능 저하를 방지한다.

결과적으로 모델은 이미지 내의 핵심 물체에 더 정교하게 집중하게 되며, 동시에 원본 모델이 가졌던 상식적인 지식을 별도의 경로로 보존함으로써 학습하지 않은 새로운 물체를 보았을 때도 당황하지 않고 정확하게 인식할 수 있는 능력을 갖추게 된다.

전체 프레임워크는 기존 VLM 백본에 추가되는 모듈형 구조이다. 먼저 SEEM 세그멘테이션 모델을 이용해 이미지 $x$에서 전경 마스크 $m$을 생성하고, 이를 원본과 결합하여 전경 뷰 $x^{fg} = x \odot m$을 획득한다.

Foreground Reliability Gate(FRG)는 전경 뷰의 품질을 평가한다. [전체 이미지와 전경 뷰의 예측 분포 차이 $\Delta H$, 두 분포 간 코사인 유사도, 전경 면적 비율을 입력으로] → [2개 층의 MLP 연산을 수행해] → [0~1 사이의 신뢰도 점수 $r$을 얻고] → [이 값은 전경 가이드를 얼마나 신뢰할지 결정하는 가중치가 된다].

Foreground Distillation Compensation(FDC)은 시각 및 텍스트 브랜치에 Bottleneck MLP 어댑터를 삽입한다. [백본 출력 특징을 입력으로] → [재투영 연산 및 잔차 연결을 수행해] → [교정된 특징 $\tilde{f}(x), \tilde{g}(t)$를 생성하고] → [신뢰도 $r$에 따라 전경 분포 $p_{fg}$와 전체 분포 $p_{full}$ 사이에서 KL Divergence 기반 지식 증류를 진행한다].

Prior Calibration(PC) 모듈은 새로운 클래스 추론 시 사용된다. [튜닝된 로짓 $z_{full}$과 원본 CLIP 로짓 $z_{CLIP}$을 입력으로] → [Backbone Reliability Gate가 계산한 가중치 $b$를 적용해] → [최종 보정된 로짓 $z_{PC} = (1-b)z_{full} + bz_{CLIP}$을 산출하며] → [이는 튜닝된 지식과 사전 지식의 최적 균형을 의미한다].

ImageNet을 포함한 11개 벤치마크 데이터셋에서 CoOp, KgCoOp, PromptSRC, MMRL 등 4가지 주요 백본 모델의 성능을 모두 향상시켰다. 특히 MMRL 백본에서 평균 Harmonic Mean(HM) 점수가 80.10에서 80.75로 상승하며 SOTA 성능을 기록했다.

새로운 클래스에 대한 일반화 성능에서 뚜렷한 개선이 확인되었다. EuroSAT 데이터셋의 경우 CoOp 백본 대비 HM 점수가 60.41에서 70.67로 약 10.26포인트 상승했다. 이는 Prior Calibration 모듈이 Base-New Trade-off 문제를 효과적으로 완화했음을 보여준다.

Ablation Study 결과, FRG와 FDC를 통한 전경 가이드가 기본 클래스 성능을 높이고, PC 모듈이 새로운 클래스 성능을 보존하는 상호 보완적 역할을 수행함이 증명되었다. 또한, 단 0.13M의 파라미터만 추가하면서도 기존 백본보다 빠른 학습 속도(FPS)와 낮은 메모리 점유율을 유지했다.

FVG-PT는 시각 인코더의 내부 어텐션 분포가 튜닝 과정에서 배경으로 전이되는 'Internal Representation Shift'를 억제하도록 설계되었다. 이는 프롬프트 벡터 자체의 설계에 집중하던 기존 연구들과 달리, 인코더의 시각적 선호도를 직접 교정하는 접근법이다.

FRG 모듈은 클래스 불가지론적(Class-agnostic) 특성을 가져, 학습 시 보지 못한 클래스에 대해서도 전경 뷰의 신뢰도를 안정적으로 평가할 수 있다. 3가지 지표를 결합한 통계 벡터 $u$를 MLP의 입력으로 사용하여 마스크 오류에 대한 강건성을 확보했다.

FDC는 시각 및 텍스트 특징 정렬 이후 단계에 삽입되어 기존의 교차 모달 정렬을 파괴하지 않으면서도 전경 지향적인 특징 재투영을 수행한다. Bottleneck 구조를 채택하여 파라미터 수를 최소화하면서도 잔차 연결을 통해 학습 안정성을 높였다.

PC 모듈은 로짓 수준에서 두 브랜치를 완전히 디커플링하여, 전경에 집중하는 학습 방향이 새로운 클래스에 대한 일반화 지식을 훼손하지 않도록 구조적으로 분리했다. 이는 추론 시에만 두 경로를 적응적으로 병합하는 전략을 취한다.

VPT와 같이 텍스트 브랜치가 존재하지 않는 시각 전용 프롬프트 튜닝 방식에는 구조적으로 적용하기 어렵다. 또한, 전경 마스크 생성을 위해 SEEM과 같은 외부 모델을 사전 실행해야 하므로 데이터 전처리 단계에서의 추가 비용이 발생한다.