SAM2Matting: 이미지 및 비디오 매팅을 위한 일반화된 프레임워크

비디오 매팅은 대상 추적의 시간적 일관성과 픽셀 단위의 미세한 알파 추정이라는 상충되는 요구를 동시에 만족시켜야 한다. 고비용의 비디오 매팅 데이터에 의존하면 도메인 편향과 추적 강건성 저하가 발생하는데, 본 논문은 이 문제를 트래커와 매팅을 분리해 해결했다. 결과적으로 이미지로만 학습한 매팅 모듈과 고정된 VOS 트래커를 조합하여 제로샷 비디오 매팅에서 SOTA 성능과 강한 일반화를 달성했다.

문제 출발점은 비디오 매팅이 고수준의 대상 추적 능력과 저수준의 픽셀 단위 세부 복원이 동시에 필요하다는 점이다. 기존 방법은 비디오 매팅 전용 데이터에 의존해 트래커를 재학습하거나 파인튜닝하는데, 이로 인해 추적 강건성이 약화되거나 데이터 스케일 제약으로 일반화가 제한되는 문제가 발생했다. 따라서 본 논문은 추적과 매팅을 역할적으로 분리해 추적은 기존 대규모 VOS 트래커에 맡기고 알파 추정은 풍부한 이미지 매팅 데이터로 학습하는 접근을 채택했다.

해결 원리는 특수화된 두 구성요소의 협력에 있다. 먼저 VOS 트래커는 프레임별 일관된 마스크를 제공해 시간적 정합성을 확보한다. 그 다음, ROI Detector가 마스크와 이미지 특징을 융합해 매팅에 실질적으로 중요한 픽셀 집합을 고른다. 마지막으로 Progressive Alpha Predictor가 다중 스케일 캐스케이드에서 중간 예측을 연쇄적으로 정제해 최종 알파를 산출한다.

이 접근은 기존 대비 몇 가지 실질적 변화를 가능케 했다. 트래커를 고정함으로써 시간적 일관성은 트래커의 원래 성능을 유지하며, 이미지 기반 매팅 학습은 도메인 다양성이 큰 이미지 데이터의 장점을 이용해 오픈월드 일반화를 향상시켰다. 결과적으로 이미지로만 학습한 매팅 컴포넌트와 강건한 VOS 트래커의 결합이 제로샷 비디오 매팅에서 SOTA 수준의 성능과 낮은 dtSSD를 동시에 달성했다.

전체 파이프라인은 VOS 트래커, ROI Detector, Progressive Alpha Predictor로 구성된다. VOS 트래커는 프레임별 마스크 M_t를 출력하고 이를 입력으로 ROI Detector는 각 스케일 i에 대해 특징 F_{t,i}, 프레임 I_{t,i}, 마스크 M_{t,i}를 받아 스케일별 ROI 로그잇 L_{t,i}를 예측한다. 스케일별 로그잇은 업샘플과 연결(concatenation)을 거쳐 계층적 합성 네트워크 f_φ로 통합되어 최종 로그잇 L_t를 만들고, 시그모이드 후 임계값 θ로 이진 ROI ℛ_t를 얻는다.

ROI로부터 유도된 유사 트리맵은 확정 전경(1), 확정 배경(0), 미지(0.5)로 픽셀을 라벨링해 알파 추정의 공간적 제약을 제공한다. Progressive Alpha Predictor는 스케일 1에서 초기 매트를 예측하고 그 업샘플을 다음 스케일 입력으로 연결해 순차적으로 정제한다. 각 스케일의 입력 X_{t,i}는 이미지 특징, 유사 트리맵, 이미지, 그리고 이전 스케일의 업샘플된 매트로 구성되며 g_{A,i}와 f_{A,i}를 통해 최종 알파 𝒜_{t,i}를 산출한다.

학습 설계는 트래커를 동결하고 매팅 컴포넌트만 이미지 매팅 데이터로 학습하도록 구성되었다. ROI Detector는 focal loss와 smooth-L1로 최적화되고 알파 예측기는 L1과 Laplacian 손실을 각 스케일에서 깊은 감독으로 적용 받는다. 추가로 matte-mask consistency 손실로 매트 내부의 구멍을 억제하고 경계의 노이즈를 줄이는 규제가 추가되며 전체 손실은 ℒ = ℒ_ℛ + ℒ_𝒜로 합산된다.

이미지 매팅 벤치마크에서 모든 변형이 기존 기법 대비 우수한 수치를 기록했다. 예컨대 SAM2Matting(SAM2.1-T)은 P3M-500-NP에서 MAD 3.92를 달성해 비교 대상 MAM 대비 MAD가 11.48 낮아졌다는 수치가 보고되었다. 세 가지 변형(SAM2.1-T, SAM2.1-B+, SAM3)은 P3M-500-NP, AM-2K, PPM-100 등에서 전반적으로 낮은 MAD와 MSE를 보였다.

비디오 매팅 평가에서는 제로샷 설정임에도 불구하고 V-HIM60와 VideoMatte-SD에서 기존 비디오 감독 기법들을 능가했다. 예를 들어 SAM2Matting(SAM3) 변형은 V-HIM60-Hard에서 dtSSD 및 여러 매트릭스에서 최저 또는 준최저 수치를 기록해 시간적 일관성 측면의 우위가 확인되었다. 또한 논문은 SAM2.1-Tiny 변형이 1080p 200프레임 비디오에서 40 FPS로 처리되며 5GB 미만의 GPU 메모리를 사용한다고 보고해 실시간 처리와 메모리 효율을 동시에 만족함을 보였다.

제어된 실험과 소거법(ablation)에서 ROI Detector와 progressive scaling, matte-mask consistency, smoothness loss가 개별적으로 성능 향상에 기여함이 확인되었다. 비디오 데이터로 파인튜닝한 경우에는 인도메인 성능 향상이 관찰되었지만 아웃오브도메인 일반화가 저하되어 과적합 현상이 보고되었다. 이 결과는 이미지 기반 학습과 트래커 동결이라는 설계 선택이 제로샷 일반화에 기여했음을 시사한다.

전체 아키텍처는 외부 VOS 트래커를 입력으로 받아 프레임 단위 마스크를 제공하는 점이 핵심 구조적 특징이다. 트래커의 출력 M_t와 다중 스케일 특징 F_{t,i} 및 이미지 I_{t,i}가 ROI Detector의 스케일별 convolutional head로 입력되어 로그잇 L_{t,i}를 생성하고, 이들을 upsampling과 concatenation으로 합쳐 f_φ가 전체 로그잇 L_t를 출력한다. 최종 ROI는 시그모이드 후 임계값 θ(논문 기본값 θ=0.65)를 적용해 결정된다.

Progressive Alpha Predictor는 각 스케일에서 입력 X_{t,i}를 g_{A,i}로 고정 차원 임베딩으로 투영한 뒤 f_{A,i}가 매트를 예측한다. 첫 스케일 i=1에서는 이전 매트가 없으므로 [F_{t,1}, T_{t,1}, I_{t,1}]로 구성하고 이후 스케일부터는 업샘플된 이전 매트 U(𝒜_{t,i-1})를 추가 입력으로 사용한다. 각 스케일 예측 𝒜_{t,i}은 σ(f_{A,i}(...))로 얻어지고 최종 스케일의 출력을 원래 해상도로 업샘플해 최종 알파 𝒜_t를 생성한다.

손실 설계는 ROI Detector에 focal loss와 smooth-L1, 알파 예측에는 L1 및 Laplacian 손실을 사용하고 스케일별로 깊은 감독을 적용해 점진적 정제를 유도한다. 추가로 matte-mask consistency loss ℒ_con은 최종 알파와 VOS 마스크 간의 분할 일관성을 강제해 전경 내부의 빈 영역을 억제한다. 구현 세부로서 세 가지 변형은 트래커를 동결하고 매팅 컴포넌트만 학습했으며 학습은 4×A6000 GPU, 배치 32, 5 epochs로 수행되었고 하이퍼파라미터는 θ=0.65, α=0.15, β=0.5, λ_1=0.3, λ_2=0.6, λ_3=1.2이다.

논문에서 명시된 주요 한계는 비디오 매팅 데이터로 추가적인 파인튜닝을 수행하면 인도메인 성능은 향상되지만 아웃오브도메인 일반화가 저하된다는 점이다. 실험에서 V-HIM2K5로 파인튜닝한 경우 V-HIM60-Hard 성능은 개선되었으나 AM-2K와 같은 비사람 대상 데이터에서는 성능이 악화되었다. 따라서 도메인 특화 데이터로의 과도한 파인튜닝은 트래커의 원래 추적 강건성을 약화시키는 부작용을 초래할 수 있다.