INSID3: DINOv3를 활용한 학습이 필요 없는 인컨텍스트 세그멘테이션

기존의 이미지 분할 기술은 특정 데이터에 맞춰 다시 학습하거나 여러 모델을 복잡하게 조합해야 했습니다. 이 논문은 추가 학습 없이 DINOv3라는 단일 모델의 특징(feature)만으로도 사물, 부품, 개인화된 객체를 정확하게 찾아낼 수 있음을 증명하여 효율성과 범용성을 동시에 확보했습니다.

기존 Vision Foundation Model(VFM)은 이미지 내 객체를 인식하는 능력은 뛰어나지만, 이를 픽셀 단위의 정교한 마스크로 변환하려면 별도의 디코더를 학습시키거나 SAM과 같은 보조 모델을 써야 했습니다. 특히 DINOv2와 같은 모델은 의미적 대응(semantic correspondence)은 좋으나 공간적 구조가 부족한 경우가 많았습니다. 최신 모델인 DINOv3는 매우 조밀하고 국소적인 특징을 생성하도록 설계되어 있어, 별도의 학습 없이도 이미지 내의 비슷한 부위끼리 스스로 뭉치는 성질이 강합니다. 하지만 서로 다른 이미지 간에 같은 좌표에 있는 픽셀끼리 무조건 매칭되려는 '위치 편향' 문제가 발생하는데, INSID3는 노이즈 이미지에서 이 편향 성분만 추출해 제거함으로써 순수한 의미 정보만 남깁니다. 이렇게 정제된 특징을 바탕으로 타겟 이미지를 여러 조각(cluster)으로 나눈 뒤, 사용자가 준 예시 이미지와 가장 닮은 조각을 '씨앗'으로 선택하고 주변의 구조적으로 유사한 조각들을 합쳐나가는 방식으로 최종 마스크를 완성합니다.

전체 파이프라인은 DINOv3 인코더에서 추출한 특징을 기반으로 하며, 먼저 위치 편향 제거(Positional Debiasing)를 수행한다. 노이즈 이미지 I_noise를 입력으로 하여 얻은 특징 F_noise에 SVD를 적용하고, 상위 s개의 특이 벡터 B를 추출한다. [특징 행렬 F와 투영 행렬 (I - BB^T)를 곱함 → 위치 정보와 관련된 주성분을 제거함 → 의미적 정보만 강조된 특징 F_tilde를 획득함 → 이 값은 좌표에 상관없이 동일한 사물을 일관되게 표현하는 지표가 됨]. 타겟 이미지의 특징 F^t에 대해 계층적 군집화(Agglomerative Clustering)를 적용하여 의미적으로 일관된 후보 영역 {G_k}를 생성한다. 이후 예시 이미지의 마스크 영역과 타겟 이미지 간의 역방향 대응(Backward Correspondence)을 계산하여 후보군을 좁힌다. [타겟 픽셀 i에 대해 가장 유사한 참조 픽셀 j를 찾음 → j가 참조 마스크 내에 있는지 확인 → 해당 픽셀을 포함한 군집만 후보로 유지 → 배경이나 엉뚱한 사물이 포함된 군집을 효과적으로 필터링함]. 선택된 씨앗 군집 G*을 중심으로 주변 군집들과의 의미적 정렬(s_cross)과 구조적 일관성(s_intra)을 곱하여 최종 점수 S_k를 산출한다. [두 유사도 점수를 곱함 → 의미와 구조가 모두 일치하는 영역만 선택 → 임계값 alpha를 넘는 군집들을 병합하여 최종 마스크 생성 → 부분적인 인식을 넘어 사물의 전체 형태를 복원함].

LVIS-92i, COCO-20i 등 6개 데이터셋에서 수행된 원샷 의미론적 세그멘테이션 실험 결과, 기존 SAM 기반의 학습 없는 방식(GF-SAM) 대비 평균 6.6%p 이상의 mIoU 향상을 기록했다. 특히 흉부 X-ray 데이터셋에서는 27.8%p라는 압도적인 성능 차이를 보였다. 부품 세그멘테이션(PASCAL-Part, PACO-Part) 및 개인화 세그멘테이션(PerMIS)에서도 SOTA를 달성했다. PerMIS 데이터셋에서는 67.0% mIoU를 기록하며 GF-SAM(+12.9%p)과 SegIC(+15.2%p)를 크게 앞질렀다. 효율성 측면에서 INSID3는 약 304M개의 파라미터를 사용하여, 945M개를 사용하는 기존 방식들보다 3배 적은 자원으로 더 높은 성능을 냈다. 추론 속도 또한 RTX 4090 기준 302ms로 실시간성에 근접한 성능을 보였다.

DINOv3의 Gram anchoring 목적 함수가 특징의 전역 통계량을 안정화시키지만, 동시에 절대 좌표에 대한 의존성(positional bias)을 유발한다는 점을 기술적으로 분석했다. 이를 해결하기 위해 SVD 기반의 직교 보완(orthogonal complement) 투영을 도입하여 특징 공간에서 좌표 정보를 분리했다. 군집화 단계에서 K-means 대신 계층적 군집화(Agglomerative Clustering)를 선택하여 클러스터 개수를 미리 정하지 않고도 DINOv3의 공간적 매끄러움(spatial smoothness)을 활용할 수 있도록 설계했다. 임계값 tau=0.6을 통해 다양한 세밀도의 영역을 효과적으로 분할한다. 씨앗 선택 시 단순한 프로토타입 매칭 대신 역방향 대응(Backward Correspondence) 필터링을 도입하여, 참조 이미지 내의 배경(negative evidence)을 암시적으로 활용함으로써 오탐지(false positive)를 억제했다. 최종 마스크 생성 시에는 교차 이미지 의미 유사도와 이미지 내 자기 유사도를 곱 연산으로 결합하여, 가려짐(occlusion)이나 시점 변화가 있는 상황에서도 구조적으로 연결된 전체 객체 영역을 안정적으로 복원한다.

현재 INSID3는 한 번에 하나의 타겟 개념만 처리할 수 있어 여러 개념이 동시에 존재할 경우 각각 별도의 참조 프롬프트가 필요합니다. 또한 마스크 형태의 프롬프트만 지원하며, 점(point)이나 박스(bounding box)와 같은 더 간편한 주석 형태는 아직 활용할 수 없습니다.