Segment Anything 모델의 진화: SAM 1, SAM 2에서 SAM 3까지의 기술 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Meta AI가 출시한 Segment Anything(SAM)은 고정된 클래스 분류 체계를 벗어나 프롬프트 기반의 유연한 이미지 분할을 가능하게 한 파운데이션 모델이다. SAM 1은 이미지 기반의 제로샷 성능을 확립했고, SAM 2는 메모리 메커니즘을 통해 비디오 내 객체 추적 기능을 추가했으며, 최신 SAM 3는 텍스트 프롬프트로 개념을 분할하는 오픈 보캐블러리 기능을 도입했다. 이러한 기술적 진보는 Roboflow의 플랫폼과 결합되어 수동 라벨링 없는 자동화된 컴퓨터 비전 워크플로우 구축을 지원한다.

배경

컴퓨터 비전 기초, 이미지 세그멘테이션 개념, Python

대상 독자

컴퓨터 비전 엔지니어 및 AI 데이터 어노테이션 자동화에 관심 있는 개발자

의미 / 영향

SAM 시리즈의 발전은 이미지 분할 작업을 단순한 기하학적 추출에서 의미론적 이해의 영역으로 확장시켰다. 특히 SAM 3의 텍스트 기반 분할은 데이터 라벨링 비용을 획기적으로 낮추고, 복잡한 비전 시스템 구축의 진입 장벽을 제거하는 데 기여할 것이다.

섹션별 상세

SAM 1은 대규모 데이터셋 SA-1B를 기반으로 학습되어 사전 정의된 카테고리 없이도 새로운 객체의 경계를 인식하는 제로샷 능력을 갖췄다. 무거운 Vision Transformer 인코더를 한 번만 실행하고 가벼운 디코더로 실시간 추론을 수행하는 구조를 채택했다. 이를 통해 CPU 환경에서도 50ms 수준의 빠른 응답 속도를 구현하며 다양한 도메인에 즉시 적용 가능하다.

SAM 1의 이미지 인코더, 프롬프트 인코더, 마스크 디코더 구조를 보여주는 다이어그램이다. — Diagram이미지 인코더를 한 번만 실행하여 임베딩을 생성한 후, 다양한 프롬프트를 통해 실시간으로 마스크를 생성하는 SAM 1의 핵심 아키텍처를 설명한다. 이는 추론 비용을 절감하는 핵심 요소이다.

SAM 2는 비디오 데이터의 시간적 연속성을 처리하기 위해 메모리 뱅크와 메모리 어텐션 구조를 도입했다. 과거 프레임의 특징과 사용자 프롬프트 정보를 FIFO 큐 형태의 메모리에 저장하여 객체가 가려지는 상황에서도 정체성을 유지하며 추적한다. 스트리밍 아키텍처를 사용하여 긴 비디오도 메모리 부하 없이 실시간으로 처리할 수 있는 성능을 보여준다.

메모리 어텐션과 메모리 뱅크가 추가된 SAM 2의 비디오 처리 구조를 보여준다. — Diagram과거 프레임의 정보를 메모리 뱅크에 저장하고 이를 현재 프레임의 마스크 생성에 활용하는 과정을 시각화하여 비디오 추적의 원리를 설명한다.

SAM 3는 기하학적 프롬프트를 넘어 텍스트 기반의 개념 프롬프트를 지원하는 오픈 보캐블러리 분할 모델이다. 시각과 언어 특징을 정렬한 통합 백본을 사용하며 노란색 스쿨버스와 같은 의미론적 개념을 형상과 결합하여 이해한다. LLM을 AI 어노테이터로 활용한 SA-Co 데이터셋으로 학습되어 복잡한 배경 속 희귀 객체에 대한 인식 지능이 대폭 향상됐다.

텍스트 인코더와 디텍터, 트래커가 통합된 SAM 3의 오픈 보캐블러리 구조이다. — Diagram텍스트 프롬프트를 입력받아 객체를 탐지하고 추적하는 SAM 3의 통합 백본 구조를 보여주며, 개념 기반 분할이 어떻게 이루어지는지 나타낸다.

Roboflow는 SAM 모델들을 Workflows와 Rapid 엔진에 통합하여 사용자가 수동 라벨링 없이 텍스트 설명만으로 모델을 배포하게 지원한다. 기존 객체 탐지 모델의 경계 상자를 SAM의 프롬프트로 입력하여 정밀한 마스크를 생성하거나, SAM 3를 직접 사용하여 제로샷으로 데이터셋을 구축하는 파이프라인 구성이 가능하다.

SAM 3 모델을 직접 테스트해볼 수 있는 Roboflow 플레이그라운드 인터페이스이다. — Screenshot사용자가 텍스트나 클릭을 통해 이미지 및 비디오 컷아웃을 생성할 수 있는 실제 도구의 기능을 시각적으로 보여준다.

실무 Takeaway

비디오 데이터에서 객체를 지속적으로 추적해야 하는 경우 메모리 메커니즘이 포함된 SAM 2를 사용하여 가려짐 현상에 대응할 수 있다.
특정 객체의 명칭만으로 분할이 필요한 오픈 보캐블러리 상황에서는 SAM 3의 PCS 기능을 활용하여 텍스트 프롬프트로 인스턴스를 추출한다.
Roboflow Workflows를 통해 기존 객체 탐지 모델의 출력을 SAM 2의 프롬프트로 연결하여 정밀한 인스턴스 마스크를 자동으로 생성하는 파이프라인을 구축할 수 있다.