SAM-MT: 실시간 인터랙티브 다중 타깃 비디오 분할

왜 중요한가

기존 VOS 방법은 각 대상마다 독립적인 밀집 메모리와 디코더 파이프라인을 복제하므로 대상 수가 늘어날수록 계산량과 지연이 비선형으로 증가했다. SAM-MT는 대상당 중복 계산을 피하고 전역 컨텍스트와 대상별 표현을 병렬로 유지하는 구조로 대상 수에 따른 연산 의존성을 거의 제거해 실시간 제약을 만족시켰다. 이로 인해 다중 보행자나 밀집 차량 등 현실적 응용에서 신분별 추적을 유지하면서도 단일 대상 처리 수준의 프레임레이트를 실현할 수 있다.

핵심 기여

대상별 쿼리와 전역 표현의 병렬 설계

사용자가 지정한 각 대상에 ID-인식 쿼리를 할당하고 전역 쿼리와 병렬로 유지해 전역 문맥과 개별 정체성을 동시에 확보했다. 초기 프레임에서는 사용자 클릭 수만큼의 쿼리를 처리한 뒤 가중합을 통해 단일 타깃 쿼리로 응축해 이후 프레임에서는 쿼리 수를 1로 유지했다. 이 설계는 대상 수 증가에 따라 마스크 디코더와 메모리 연산을 반복할 필요를 제거해 확장성을 확보했다.

분리된 마스크 어텐션으로 교차 대상 간섭 억제

self-attention 블록에 대상 간 상호참조를 차단하는 마스크를 적용하되 글로벌 쿼리와는 완전한 접근을 허용해 정보 유실을 막았다. 마스크는 소프트맥스 입력에 -∞를 삽입하는 방식으로 서로 다른 대상 쿼리의 상호 어텐션을 차단하고 동일 대상 내부와 글로벌 쿼리와의 상호작용만 허용했다. 이로 인해 대상 정체성 혼동 없이 전역 문맥을 활용한 픽셀 수준 정련이 가능했다.

쿼리 기반 희소 메모리와 아이덴티티 트랜스포머

밀집 픽셀 메모리를 대상별로 복제하는 대신 프레임별 대상 쿼리만을 FIFO 형태로 유지하는 희소 메모리를 도입해 저장 비용을 HW 토큰에서 k 토큰 수준으로 축소했다. 아이덴티티 트랜스포머는 각 대상 쿼리가 희소 메모리에서 자기 대상의 히스토리만 참조하도록 identity-aware 마스크를 적용해 재식별 안정성을 보장했다. 이 구성은 긴 시간 창에서의 재출현과 폐색 상황에 대한 강건성을 높였다.

실무적 학습 전략과 중첩 방지 손실

정적 이미지 단계와 시퀀스 단계의 2단계 학습을 적용하고, 메모리 제약을 고려한 스트라이드 샘플링을 도입해 폐색 후 재출현에 대한 학습 신뢰도를 높였다. 대상 간 픽셀 중첩을 억제하는 오버랩 손실을 추가해 밀집 장면에서의 마스크 충돌을 줄였고 Focal/Dice/IoU 기반의 다중 수준 손실로 글로벌 및 개별 마스크 품질을 균형시켰다. 공개 리포지토리와 A6000 8GPU 설정으로 재현 가능한 훈련 파이프라인을 사용했다.

핵심 아이디어 이해하기

문제 출발점은 기존 VOS 아키텍처가 각 대상마다 밀집 메모리와 마스크 디코더를 복제해 대상 수 k에 대해 연산과 메모리가 선형 이상으로 증가한다는 점이다. 밀집 픽셀 메모리는 프레임 당 H×W 토큰을 포함하므로 대상별로 중복되면 VRAM과 연산이 급증해 실시간 처리 요건을 만족시키지 못했다. 단순히 대상들을 하나의 통합 마스크로 합치면 ID 정보가 사라지고 비정형 형태로 인해 추적 실패가 빈발했다.

방법론

전체 접근은 SAM2의 전역 영상 표현에 사용자 지정 대상 쿼리를 병렬로 결합하는 하이브리드 구조이다. 입력 클릭은 쿼리로 인코딩되어 글로벌 쿼리와 함께 디코더에 투입되며, 디코더 내부의 decoupled masked attention은 대상 간 직접 상호참조를 차단하면서 글로벌 쿼리로의 접근은 허용한다. 디코더 출력은 각 대상에 대해 픽셀 문맥을 추출하고 초기 프레임에서는 다수의 포인트 쿼리를 MLP 기반 가중합으로 단일 타깃 쿼리로 응축한다.

주요 결과

주요 벤치마크에서 SAM-MT는 MOSEv2에서 43.0 𝒥& 점수를 기록하며 SAM2.1-B+의 41.1 대비 우위를 보였다. 장기 시퀀스인 LVOSv2와 LVOSv1에서도 각각 2.0점 및 2.3점의 상승이 보고되었고 SA-V 검증/테스트에서는 SAM-MT가 66.1/66.4 𝒥&를 기록해 경쟁력을 유지했다. 확장성 측면에서 합성 멀티타깃 벤치마크에서 해상도 1024p 기준으로 대상 수 1에서 20까지 FPS가 37.2에서 35.4로 완만히 감소한 반면, SAM2.1-B+는 동일 조건에서 37.2에서 3.7로 급격히 떨어져 효율 이점을 실증했다.

기술 상세

전체 아키텍처는 SAM2를 기반으로 하되 전역 쿼리 G와 대상별 쿼리 Q_q를 연동하는 병렬 디코더를 구성했다. Decoupled Masked Attention은 쿼리 행렬 Q에 대해 softmax(QK^T + M) V + Q 형태로 동작하며 마스크 M의 요소는 글로벌-모든, 모든-글로벌, 동일 대상 내부에 대해서만 0을 허용하고 그 외에는 -∞로 설정해 대상 간 직접 상호작용을 차단했다. 초기 프레임에서는 사용자 포인트 N_q에 대해 디코더 출력 Q'_q들을 MLP 기반의 f_weight로 softmax 가중합해 단일 target query로 응축했고 이후 프레임에서는 각 대상 쿼리 1개만을 전파해 연산을 경량화했다.

한계점

논문에서 명시한 한계는 모델이 SAM의 비전 전용 아키텍처를 계승해 고차원적 추론이나 멀티모달 이해 능력이 부족하다는 점이다. 따라서 언어 기반 지시나 복합적 reasoning이 필요한 응용에서는 추가 모듈 통합이 필요하다. 이 점을 논문이 향후 연구 방향으로 명확히 지적했다.

실무 활용

코드 리포지토리 공개로 실무 적용 가능성이 높으며, 실시간 추적·분할이 요구되는 로봇 비전이나 대규모 감시·모니터링 파이프라인에서 즉시 활용 가능한 성능과 효율을 보였다. 다만 멀티모달 추론이나 고차원 추론 기능은 본 모델의 설계 범위에 포함되지 않는다.

군중 및 교통 장면에서 다중 객체의 실시간 추적과 분할을 통한 행동 분석
로봇의 다중 대상 상호작용에서 개별 대상 ID를 보존한 실시간 마스크 제공
비디오 편집 툴에서 사용자 클릭 기반의 빠른 다중 객체 마스킹 작업
장기 관찰 시나리오에서 재출현 대상의 일관된 재식별 기반 데이터 라벨링

코드 공개 여부: 공개

코드 저장소 보기

키워드

Query-based Segmentation(쿼리 기반 분할)Decoupled Masked Attention(분리된 마스크 어텐션)Sparse Memory(희소 메모리)Identity Transformer(아이덴티티 트랜스포머)VOS(비디오 객체 분할)

용어 해설

쿼리 기반 분할(Query-based Segmentation): — 쿼리 기반 분할은 learnable queries가 이미지 또는 영상 특징에 cross-attend하여 각 쿼리별로 객체 표현을 얻고 이를 마스크로 변환하는 방식이다. 이 방법은 쿼리 수와 객체 수를 분리하여 확장성을 확보할 수 있으며, SAM-MT에서는 각 사용자 지정 대상에 ID-인식 쿼리를 할당해 시간 축 추적을 가능하게 한다. 쿼리의 self-/cross-attention 구조와 마스크 디코더 연계가 성능과 정체성 유지에 결정적이다.
분리된 마스크 어텐션(Decoupled Masked Attention): — 분리된 마스크 어텐션은 글로벌 쿼리와 각 대상 쿼리의 상호작용을 허용하되 서로 다른 대상 쿼리 간 직접 참조를 차단하는 attention 마스크 구조이다. 소프트맥스 입력에 -∞ 마스킹을 적용해 대상별 간섭을 억제하고 글로벌 컨텍스트와는 공유하게 함으로써 정체성 보존과 정보 통합을 동시에 달성한다. 이 방식은 대상 수 증가에도 쿼리 간 계산 폭발을 막아 확장성을 확보한다.
희소 메모리(Sparse Memory): — 희소 메모리는 각 대상에 대해 전체 픽셀 수준의 밀집 토큰 대신 대상별 저차원 쿼리 토큰만을 순차적으로 저장하는 경량 시계열 저장소이다. FIFO 형태로 최근 T프레임과 초기 프레임의 대상 쿼리를 보관해 재식별과 장기 재출현에 대응하면서 VRAM 사용량을 H×W 밀집 토큰 대비 크게 줄인다. SAM-MT는 이 구조를 통해 대상 수 증가에도 메모리 사용을 완만하게 유지했다.
아이덴티티 트랜스포머(Identity Transformer): — 아이덴티티 트랜스포머는 현재 프레임의 대상 쿼리가 희소 메모리에 저장된 자기 대상의 히스토리만을 조회하도록 identity-aware 마스크를 적용해 업데이트하는 모듈이다. 각 대상의 쿼리는 자신의 시간적 시퀀스 인덱스들에만 어텐션을 수행해 메모리 오염과 ID 드리프트를 줄인다. 이로 인해 재식별과 일관된 마스크 전파가 안정화된다.

SAM-MT: 실시간 인터랙티브 다중 타깃 비디오 분할

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

SAM2 기반 로컬 동영상 분할 도구 SAMannot

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

SAM2 기반 로컬 동영상 분할 도구 SAMannot

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장