SAM 3로 텍스트 기반 객체 분할하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

텍스트 프롬프트로 'helmet'이나 'safety vest'처럼 자연어 개념을 입력하면 SAM 3은 제로샷으로 이미지 전체에서 해당 개념의 모든 인스턴스를 픽셀 단위 마스크로 반환하므로 별도 라벨링과 모델 재학습 없이 결과를 얻을 수 있다. Roboflow Workflow 예시는 이러한 마스크를 시각화하고 주석을 바탕으로 간단한 AI 안전 요약을 생성하는 전체 흐름을 제시하며 건설현장 PPE 점검의 즉시성 문제를 해결할 수 있음을 보인다. 기존의 텍스트→박스→마스크 연쇄 파이프라인은 Grounding DINO와 SAM을 연결해 동작했으나 오류 누적과 두 모델 운영에 따른 비용·복잡성이 발생했고 SAM 3은 이를 하나의 모델로 통합해 운영 부담을 줄이는 대안을 제공한다. 다만 본문에는 통합 모델의 정량적 성능 비교 수치가 제시되지 않아 실제 현장 성능과 한계는 실무 적용 시 별도 검증이 필요하다.

섹션별 상세

텍스트 프롬프트 기반 분할은 사용자가 단순한 자연어(예: 'helmet', 'safety vest')를 입력하면 이미지 전체에서 해당 개념의 모든 인스턴스에 대해 픽셀 수준의 마스크를 반환하는 방식이며, SAM 3은 이 기능을 네이티브로 지원해 추가 학습이나 클릭·박스 입력 없이 제로샷 결과를 도출한다. 입력으로 텍스트 프롬프트를 주면 모델은 이미지에서 해당 개념을 해석하고 각 인스턴스의 경계를 예측해 마스크 배열을 출력한다. Meta는 이 역량을 promptable concept segmentation으로 분류하며, 이전 SAM 계열과 달리 한 프롬프트당 하나의 객체만 찾아내는 제약을 벗어나 장면 전체에서 개념을 횡적으로 식별한다. 이 접근은 라벨링과 모델 재학습에 소요되는 시간과 비용을 제거하여 빠른 프로토타이핑과 현장 적용을 가능하게 한다.

건설현장 PPE 검사 사례에서 텍스트 기반 분할은 현장 조건(사람 이동, 부분 가림, 소형 객체) 때문에 전통적 데이터 수집·클래스별 라벨링·맞춤형 모델 학습이 비효율적일 때 유효한 대안이다. 이 튜토리얼은 Roboflow Workflow를 통해 person, helmet, safety vest, excavator, traffic cone 등의 텍스트 프롬프트로 마스크를 생성하고 시각화한 뒤 주석을 바탕으로 간단한 AI 안전 요약을 생성하는 전체 흐름을 구성한다. 글에는 건설이 2023년 미국 산업재해 사망의 거의 5분의1을 차지했다는 CPWR의 통계가 인용되어 PPE 점검의 실질적 필요가 뒷받침된다. 프롬프트 기반 분할을 통합하면 검사 자동화 속도가 빨라지고, 반복적인 라벨링 작업을 줄이며 변화가 잦은 작업환경에 더 민첩하게 대응할 수 있다.

텍스트→박스→마스크의 연쇄 파이프라인(예: Grounding DINO로 박스 생성 후 SAM으로 마스크 변환)은 개념을 텍스트에서 시각적 입력으로 변환하는 실무적 해결책이었으나 두 모델의 오류가 연쇄적으로 누적되고, 검출 실패 시 이후 단계에서 복구가 불가능하다는 구조적 한계가 존재한다. 연쇄 방식은 박스 단위로 지역을 탐지하므로 장면 전반에서 개념을 통합적으로 추론하지 못하고, 두 모델을 동시에 운영해야 하므로 인프라·종속성·추론 비용이 모두 증가한다. SAM 3은 이러한 파이프라인을 하나의 모델로 축약해 텍스트 프롬프트로 직접 마스크를 생성하도록 학습되었으며, 이로 인해 운영 복잡성과 비용 부담이 감소하는 효과가 기대된다. 다만 단일 모델로의 통합이 모든 상황에서 기존 파이프라인보다 성능 우위를 보이는지에 대한 정량적 비교 결과는 본문에 제시되지 않았다.

용어 해설

프롬프트 가능한 개념 분할(Promptable Concept Segmentation): — 사용자가 자연어로 정의한 '개념'을 입력으로 받아 이미지 전체에서 해당 개념의 모든 인스턴스를 픽셀 단위 마스크로 반환하는 기법으로, 텍스트→모델→마스크의 흐름으로 작동하여 별도 라벨링 없이 제로샷 분할이 가능하다는 점에서 현장 검사용 워크플로에 유용하다.
텍스트 프롬프트 분할(Text-prompt Segmentation): — 단순한 자연어 프롬프트(예: 'helmet')를 입력으로 받아 이미지에서 해당 항목의 픽셀 경계를 추출하는 방식으로, 시각적 프롬프트(클릭·박스) 대신 텍스트만으로 객체 전체를 탐지하고 마스크를 반환하는 구현 특성이 핵심이다.
연쇄 텍스트→마스크 파이프라인(Chained Text-to-Mask Pipeline): — 텍스트를 먼저 바운딩박스로 변환하는 모델(예: Grounding DINO)과 그 박스를 마스크로 변환하는 모델(SAM)을 순차적으로 연결해 동작시키는 구조로, 각 모델의 오류가 누적되고 두 모델을 동시에 호스팅해야 하는 비용적·운영적 부담이 발생한다.
제로샷 분할(Zero-shot Segmentation): — 특정 클래스에 대한 별도 학습 데이터 없이도 텍스트 프롬프트나 일반화된 개념을 통해 즉시 해당 클래스의 인스턴스를 식별하고 마스크로 반환하는 분할 방식으로, 라벨 수집과 모델 재학습 단계를 건너뛰어 빠른 적용이 가능하다.

기술

SAM 3
Grounding DINO
Grounded SAM
Roboflow

활용 사례

건설 현장 PPE 검사
이미지 기반 안전 점검 자동화
제로샷 객체 분할을 통한 빠른 현장 검증