PixCon: 기초모델(DINOv2) 기반 반지도 세멘틱 분할에서 오염 없는 양성 샘플로 임베딩을 구조화하는 방법

픽셀 단위 반지도 분할에서는 보통 불확실한 의사라벨을 신뢰할지 여부가 성능의 핵심이었다. DINOv2 같은 강한 기초 백본이 등장하면서 의사라벨의 노이즈는 크게 줄고, 남은 성능 차이는 임베딩 공간이 클래스별로 얼마나 잘 응집되는지에 따라 결정된다. PixCon은 은행에 들어가는 양성 샘플을 오직 레이블이 있고 학생이 이미 맞춘 픽셀로 제한해 임베딩 정렬의 '오염'을 원천적으로 제거하고, 그 결과 작은 추가 연산 없이 안정적이고 재현 가능한 성능 향상을 얻는다.

픽셀 수준 반지도 학습은 레이블이 드문 상황에서 많은 무라벨 이미지를 활용해 학생 모델을 개선하는 접근이다. 전통적으로는 의사라벨의 신뢰도를 임계값으로 걸러 잡음을 줄였으나, DINOv2와 같은 기초 백본이 제공하는 고품질 패치 임베딩은 초기에 이미 클래스별 구조를 상당 부분 회복한다. 결과적으로 남은 성능 차이는 단순한 라벨 필터링보다 임베딩 공간을 얼마나 잘 정렬하느냐에 달려 있다. InfoNCE 계열의 픽셀 대조학습은 동일 클래스 샘플을 끌어당기고 타 클래스 샘플을 밀어내는 신호를 주는데, 은행(bank)에 잘못된 클래스가 섞이면 앵커에 대한 기울기가 잘못된 방향으로 합성된다. PixCon은 은행에 추가되는 샘플을 '레이블이 있고 학생이 이미 맞춘 픽'으로 제한해 false-positive 집합을 비우고(ρF=0), 따라서 앵커의 대조 기울기가 순수한 양성 신호만 갖게 만들었다. 이로 인해 대조 손실이 실제로 임베딩을 올바른 클래스 밀도로 끌어당기는 힘을 잃지 않게 된다. 클린-포지티브 규칙의 실효성은 두 역할로 나뉜다. 하나는 오염률을 0으로 설정해 weaker teacher 상황에서의 강건성을 보장하는 역할이고, 다른 하나는 '정확도 조건'으로 학생이 이미 잘 배치한 임베딩만 양성으로 사용함으로써 양성 신호의 품질과 일관성을 높이는 역할이다. 실험적으로 Pascal 같은 강한 교사 환경에서는 ρF가 이미 작아 보증 효과는 제한적이었고, 관찰된 성능 향상은 주로 정확도 조건이 양성 신호를 날카롭게 한 효과로 귀속되었다.

전체 구조는 하나의 DINOv2-Base ViT 인코더와 DPT 스타일 디코더 위에 두 개의 훈련 브랜치(일관성 브랜치와 클린-포지티브 대조 브랜치)를 공유 파라미터로 얹는 형태이다. 일관성 브랜치는 EMA 교사를 통해 엄격한 임계(τ=0.95)로 필터된 의사라벨을 사용하여 약한 뷰와 두 개의 강한 CutMix 뷰 사이의 일관성을 학습시키며, 이는 UniMatch V2의 설계와 동일한 파이프라인을 따른다. 대조 브랜치는 디코더의 결합 피처를 1×1 합성곱 두 개로 구성된 프로젝션 헤드 gφ로 매핑하여 단위 노름 임베딩 z를 생성하고, 클래스별 FIFO 큐(크기 N=256)로 양성 샘플을 저장한다. 클렌-포지티브 필터의 핵심은 엔트리 추가 조건이다. 각 레이블된 배치에서 좌표 (b,h,w)가 레이블을 가지며 학생의 argmax(logits)와 GT가 일치할 때만 해당 임베딩을 해당 클래스 큐에 enqueuing한다. 이 조건은 은행 오염률 ρF를 설계상 0으로 만든다. 대조 손실은 supervised-InfoNCE 방식으로 계산되며 온도 η=0.1, 각 반복에서 비교 수를 O(K)로 제한하는 샘플링 캡이 적용된다. 훈련 손실은 supervised cross-entropy(ℒx), consistency loss(ℒu) 및 contrastive loss(ℒpix)를 합쳐 ℒ = 1/2(ℒx+ℒu) + λpix ℒpix 형태로 구성하며 λpix=0.1을 기본값으로 사용한다. 은행은 각 반복에서 FIFO로 갱신되며 은행에 gradient는 흘러가지 않는다. 은행이 모든 클래스에서 초기 엔트리를 확보할 때까지 ℒpix의 기여가 작게 시작하며 Pascal과 ADE20K 실험에서 빠르게 커버리지가 채워지는 것으로 보고되었다.

주요 벤치마크에서 PixCon은 동일 코드베이스의 UniMatch V2 재현본과 한 스위치(클린-포지티브 브랜치 추가)만으로 비교되었다. Pascal VOC 1/8에서 세 시드 평균은 87.90 mIoU를 기록했으며 각 시드당 일관된 약 +0.2 mIoU의 상승이 관측되었다. 전체 에폭 구간에서 EMA 교사 mIoU 밴드가 일관되게 위로 이동해 학습 과정에서의 안정적 이득을 보여주었다. 오염률 측정에서 Pascal 1/8·1/16의 ρF는 각각 0.018·0.022로 매우 작았고 ADE20K에서는 0.106으로 더 컸다. 이 값들로부터 Observation 3.1의 스케일링이 실험적 맥락에서 의미를 가지며, Pascal의 낮은 ρF 환경에서는 클린 은행과 신뢰 기반 은행이 성능상 거의 동등하게 묶였다. Cityscapes 및 ADE20K에서는 단일 시드 결과가 동등선을 이루어 클린-포지티브 규칙이 성능 손실 없이 안전한 기본값으로 작동함이 확인되었다. 세부적인 질적 비교에서 PixCon은 객체의 부분 수준(class confusion)을 줄여 더 일관된 마스크를 생성했고 경계 오류를 내부 오류보다 약 두 배 더 많이 줄이는 경향을 보였다. 컨트롤된 어블레이션으로 admission rule만 변경한 실험은 은행 자체가 성능에 도움을 주며, 오염 제거의 정량적 영향은 교사 강도에 따라 달라진다는 결론을 뒷받침했다.

전체 아키텍처는 DINOv2-Base ViT-B/14 인코더와 DPT 스타일의 경량 디코더로 구성되며, 디코더의 결합 피처가 1×1 합성곱 두 층(BN+ReLU)으로 이루어진 프로젝션 헤드 gφ에 입력되어 차원 D=256의 단위 노름 임베딩 z를 만든다. 이 임베딩은 클래스별 FIFO 큐(최대 N=256, 클래스당 캡 m=64)를 통해 은행에 저장되며 각 반복에서 앵커 집합 A₊(최대 1024)을 샘플링해 supervised-InfoNCE를 계산한다. 온도 η는 0.1로 고정되며 λpix=0.1이 기본 가중치이다. Observation 3.1의 수학적 근거는 ℓ2 정규화된 임베딩과 동일 온도 하에서 positive 집합의 소프트맥스 가중치 균등 가정을 도입해 InfoNCE 앵커 기울기를 진단한 것이다. false-positive 비율 ρF를 정의하면 false-positive 기여의 기대 크기는 true-positive 기여 대비 약 ρF/(1−ρF) 비율로 증가한다고 근사할 수 있으며, 이로 인해 기울기 방향이 오염의 정도에 따라 편향될 수 있다. PixCon은 ρF를 설계상 0으로 만들므로 해당 기여항 gF이 영이 되어 업데이트 방향이 순수한 양성 신호 gT으로 수렴한다. 학습 루프와 하이퍼파라미터는 UniMatch V2 레시피를 그대로 따르며 AdamW 최적화, 백본 LR 5×10⁻⁶, 디코더 LR 2×10⁻⁴, 크롭 518×518, 총 60 epoch, 유효 배치16을 사용한다. 일관성 브랜치는 약한 뷰(EMA teacher)와 두 개의 강한 CutMix 뷰를 생성하고 보완적 채널 드롭아웃을 적용해 두 스트림을 서로 감독한다. 은행은 학습 초기에 클래스별로 한 엔트리씩 채워질 때까지 ℒpix 기여가 작게 시작하며, 대부분의 셋업에서 빠르게 커버리지가 채워지는 것으로 보고되었다.

논문이 명시한 주요 한계는 강한 백본을 전제로 한다는 점이다. 백본이 약하거나 라벨 수가 극단적으로 적은 경우에는 은행이 느리게 채워져 ℒpix의 기여가 작아지고 성능 이득이 줄어들 가능성이 있다. 또한 현재 입장 규칙이 '예측==레이블'이라는 강한 이진 기준이므로 연속적·소프트한 변형은 아직 제시되지 않았고, 그러한 변형의 효과는 후속 연구 과제로 남아 있다.