ENEAS: 의미 검증을 결합한 텍스트 기반 영상 분할

왜 중요한가

텍스트 기반 분할 모델은 대상의 윤곽을 찾는 데 강하지만, 화면 밖으로 사라진 객체를 다른 물체로 바꾸거나 조각상·그림을 사람으로 오인하는 문제가 있습니다. ENEAS는 3D reconstruction 전처리처럼 오탐 하나가 결과 자산을 훼손하는 환경에서 기하학적 검출과 의미 검증을 분리해 이 문제를 줄입니다.

핵심 기여

인스턴스 추적과 의미 탐색의 통합

하나의 자연어 인터페이스로 특정 인스턴스 추적과 범주별 다중 인스턴스 탐색을 처리하며, 순서가 있는 영상과 시간 순서가 없는 이미지 모음을 모두 입력으로 지원합니다.

텍스트로 초기화하는 SeC 추적

점 입력만 지원하던 SeC에 Florence-2 기반 텍스트 영역 제안을 연결해 기준 프레임의 한 영역으로 추적을 시작합니다. 시간 메모리가 대상의 정체성을 유지하므로 대상이 보이지 않을 때 유사 물체로 이동하지 않고 빈 마스크를 출력합니다.

임베딩과 VLM을 결합한 선택적 검증

SigLIP 2의 독립적인 이미지-텍스트 점수로 후보를 먼저 분류하고, 불확실성 구간에 있는 후보만 Qwen3-VL로 재판정합니다. 이 단계적 처리가 시각적으로 비슷한 조각상과 그림을 제거하면서 모든 후보를 VLM에 보내는 비용을 피합니다.

3D reconstruction용 의미적 오탐 억제

Church Statues 데이터에서 SAM 3의 정밀도 11.1%와 F1 19.5%에 비해 ENEAS-2B는 정밀도 94.7%, F1 82.8%, ENEAS-4B는 정밀도 97.5%, F1 87.6%를 기록했습니다.

핵심 아이디어 이해하기

기존 텍스트 기반 분할은 이미지의 모양과 질감에서 질의 대상처럼 보이는 영역을 찾는 데 집중합니다. 그래서 실제 사람이 아닌 조각상이나 팝아트 인물도 ‘person’이라는 질의에 맞는 구조를 가지면 마스크가 생성됩니다. 반대로 특정 그림을 추적할 때 대상이 화면에서 사라지면 프레임별 검출기가 커튼이나 머리카락처럼 비슷한 영역을 새 대상으로 선택할 수 있습니다.

ENEAS는 이 두 문제를 서로 다른 처리 경로로 나눕니다. 특정 인스턴스라면 텍스트로 기준 영역을 한 번 찾고, SeC의 시간 메모리가 이전 프레임의 개념 표현과 마스크를 다음 프레임으로 전달합니다. 대상이 없으면 새로운 후보를 억지로 선택하지 않고 빈 결과를 냅니다. 범주 질의라면 매 프레임 후보를 다시 찾은 뒤, 빠른 임베딩 점수로 확실한 후보를 처리하고 애매한 후보만 VLM에 보냅니다.

이 구조에서 임베딩은 ‘시각적으로 얼마나 비슷한가’를 빠르게 계산하는 관문이고, VLM은 ‘실제로 그 개념에 속하는가’를 판단하는 의미 검증 단계입니다. 따라서 그림과 조각상처럼 외형은 비슷하지만 존재론적으로 다른 대상은 후단에서 거부할 수 있습니다. 다만 후보 영역 자체를 Florence-2가 제안하지 못하면 이후 단계에서 복구할 수 없으므로 재현율은 초기 제안기의 성능에 제한됩니다.

방법론

ENEAS는 자연어 프롬프트와 프레임 집합을 받아 이진 마스크를 반환하며, Florence-2-Large가 프롬프트에 맞는 영역을 제안하고 SAM 2가 최종 마스크를 생성합니다. 프롬프트가 ‘blue painting’처럼 특정 인스턴스를 가리키면 기준 프레임에서 얻은 영역 하나를 SeC 추적기에 넣고, 시간 메모리를 사용해 나머지 프레임으로 전파합니다. 대상이 보이지 않는 프레임에서는 마스크를 0으로 유지해 유사 영역으로의 identity drift를 막습니다.

‘person’처럼 여러 대상을 가리키는 범주 프롬프트에서는 각 프레임을 독립적으로 처리합니다. Florence-2가 재현율을 우선해 후보 영역을 넓게 제안하고, SigLIP 2가 각 이미지-텍스트 쌍을 독립적으로 평가합니다. 여러 텍스트 템플릿의 임베딩을 평균해 crop 입력과 전체 이미지 학습 사이의 차이를 완화합니다. 점수가 0.90 이상이면 즉시 승인하고 0.10 미만이면 거부하며, 그 사이는 Qwen3-VL로 보냅니다. VLM 입력에서는 주변 후보의 픽셀을 검게 가려 대상 영역만 판단하게 하고, 고정된 이진 응답 형식을 사용합니다. 승인된 영역만 SAM 2에 넣어 인스턴스별 마스크를 만듭니다.

이 단계적 계산은 입력 후보를 영역 제안 → 임베딩 필터 → 선택적 VLM 검증 → 마스크 생성 순서로 줄여 갑니다. Church Statues의 Robust 설정에서는 VLM을 후보의 78.1%에 호출해 프레임당 평균 3.29초를 사용했고, 모든 후보를 VLM에 보내는 설정의 5.05초보다 약 35% 짧았습니다.

주요 결과

Church Statues에서 SAM 3은 재현율 83.7%를 기록했지만 정밀도가 11.1%에 그쳐 F1 19.5%를 기록했습니다. ENEAS-2B는 재현율 73.5%, 정밀도 94.7%, F1 82.8%를 기록했고, ENEAS-4B는 재현율 79.6%, 정밀도 97.5%, F1 87.6%를 기록했습니다. ENEAS-4B는 2B보다 재현율을 회복하면서 정밀도를 유지했지만 평균 지연은 3.29초에서 5.02초로 증가했습니다.

SA-Co/VEval의 인스턴스 추적 분할에서 ENEAS는 HOTA 26.70%, AssA 90.77%, TETA 17.86%로 SAM 3의 HOTA 26.51%, AssA 90.18%, TETA 16.65%보다 높았고, LocA는 87.86%로 SAM 3의 89.22%보다 낮았습니다. 의미 탐색 분할에서도 ENEAS의 HOTA는 9.23%, AssA는 14.28%, TETA는 9.53%로 SAM 3의 9.19%, 13.85%, 9.10%보다 높았지만 LocA는 74.25%로 SAM 3의 75.38%보다 낮았습니다.

임계값 실험에서 0.10–0.90 Robust 설정은 F1 82.8%, 평균 지연 3.29초를 기록했습니다. 0.40–0.60 Aggressive 설정은 지연 1.04초와 F1 74.3%, 0.15–0.75 Balanced 설정은 지연 2.48초와 F1 79.6%였습니다. Moving Boxes에서는 VLM 호출률을 27.0%로 낮춘 Fast 설정이 프레임당 1.14초, F1 98.0%, 오탐 0건을 기록했습니다.

기술 상세

공유 모듈은 Florence-2-Large 기반 grounding과 SAM 2 기반 mask generation으로 구성됩니다. 인스턴스 추적에서는 Florence-2가 기준 프레임의 자연어 프롬프트를 영역으로 바꾸고, SeC가 그 영역과 과거 프레임의 시간 메모리를 사용해 마스크를 전파합니다. SeC는 시각적 외형만 저장하지 않고 대상의 개념 수준 표현을 누적하므로 큰 시점 변화와 일시적 부재에서 identity를 유지합니다.

의미 탐색에서는 Florence-2가 매 프레임 후보 집합을 넓게 생성하고 중복 영역을 합칩니다. SigLIP 2는 pairwise sigmoid 방식으로 각 후보 crop과 범주 텍스트의 점수를 독립적으로 계산하므로, 한 사람이 마이크를 들고 있을 때 ‘microphone’ 같은 동반 개념이 ‘person’ 점수를 억누르는 softmax 경쟁을 피합니다. 여러 프롬프트 템플릿의 점수를 평균해 crop과 전체 이미지 사이의 domain shift를 완화하며, native aspect ratio 처리로 가변 크기 crop의 특징을 보존합니다.

후보 점수는 0.10 미만이면 폐기, 0.90 이상이면 승인, 그 사이면 Qwen3-VL 검증으로 분기됩니다. VLM은 주변 후보 영역을 검은색으로 마스킹한 crop에 대해 대상이 실제 범주인지, 조각상·마네킹·그림 같은 look-alike인지 이진 판정을 냅니다. 이 판단 결과와 임베딩에서 직접 승인된 영역을 SAM 2에 전달해 최종 인스턴스 마스크를 생성합니다.

구성 요소 제거 실험에서 Florence-2 제안만 사용한 기준선은 정밀도 10.5%, 재현율 79.6%, F1 18.6%였습니다. 임베딩 임계값을 엄격하게 적용하면 정밀도 94.3%까지 올라가지만 재현율은 67.4%로 감소했습니다. 불확실성 구간의 후보만 VLM에 보내는 ENEAS-2B는 정밀도 94.7%, 재현율 73.5%, F1 82.8%를 기록해 두 목표 사이의 손실을 줄였습니다. 실험은 24GB VRAM의 NVIDIA L4 GPU와 12 vCPU Intel Xeon 환경에서 데이터 로딩과 CPU 전처리를 포함한 종단 간 지연으로 측정했습니다.

한계점

의미 탐색의 재현율은 Florence-2가 후보 영역을 제안하는 단계에 제한됩니다. 작거나 멀리 있거나 심하게 가려진 인스턴스를 제안기가 놓치면 후속 임베딩과 VLM이 복구할 수 없습니다. VLM도 극단적인 close-up, 저해상도 crop처럼 재질이나 주변 맥락이 부족한 입력에서는 조각상과 그림을 잘못 승인할 수 있습니다. 후보가 많은 혼잡한 장면에서는 검증 비용이 증가하며, Robust 설정은 단일 L4 GPU에서 프레임당 약 3초가 걸려 실시간 처리가 아닙니다. 또한 의미 탐색은 프레임별로 수행하므로 인스턴스에 지속적인 ID를 부여하지 않고, 별도의 confidence score도 생성하지 않습니다.

실무 활용

ENEAS는 영상이나 시간 순서가 없는 이미지 모음에서 특정 객체를 계속 추적하거나, 매 프레임 새로 등장하는 범주 인스턴스를 찾아 마스크로 분리하는 데 활용할 수 있습니다. 특히 3D reconstruction 전에 방문객 같은 방해 대상을 제거하고 조각상이나 작품은 보존해야 하는 장면에 적합합니다.

3D reconstruction과 3D Gaussian Splatting 전처리에서 방문객·배경 방해물 제거
자연어로 지정한 특정 그림·차량·객체의 영상 구간 추적
가구나 사람처럼 여러 인스턴스가 등장하는 실내 영상의 범주별 마스크 생성
시간 순서가 섞인 사진 모음에서 재구성 대상과 제거 대상 분리

코드 공개 여부: 공개

코드 저장소 보기

키워드

ENEAS(임베딩 기반 적응형 분할)Text-Promptable Segmentation(텍스트 프롬프트 분할)SAM 3(기반 시각 모델)SeC(개념 수준 시간 추적)Qwen3-VL(의미 검증 VLM)Semantic Discovery(의미 탐색)3D Reconstruction(3D 재구성)

용어 해설

텍스트 프롬프트 분할(Text-Promptable Segmentation): — 자연어로 지정한 대상의 픽셀 영역을 분리하는 기술입니다. 입력 문장을 이미지 영역 제안과 마스크 생성 과정에 연결해 특정 객체 추적이나 여러 인스턴스 탐색을 수행합니다.
시간 메모리(Temporal Memory): — 이전 프레임의 객체 정보와 예측 마스크를 저장해 현재 프레임의 분할에 활용하는 구조입니다. 대상이 잠시 가려지거나 화면 밖으로 나가도 동일한 인스턴스의 정체성을 유지하는 데 쓰입니다.
임베딩 매칭(Embedding Matching): — 이미지 영역과 텍스트를 벡터 표현으로 바꾼 뒤 두 표현의 유사도를 계산하는 방식입니다. ENEAS는 이를 이용해 명확히 맞거나 맞지 않는 후보를 빠르게 걸러내고, 애매한 후보만 다음 단계로 보냅니다.
의미 검증(Semantic Verification): — 시각적 형태가 비슷한 대상이 실제로 질의한 개념에 속하는지 추가로 판단하는 과정입니다. 조각상이나 그림처럼 사람처럼 보이지만 사람이 아닌 후보를 VLM의 문맥·재질 판단으로 제거합니다.
불확실성 구간(Uncertainty Interval): — 임베딩 점수가 명확한 승인과 거부 사이에 놓이는 범위입니다. 이 구간의 후보만 비용이 높은 VLM 검증으로 보내 전체 추론 비용을 줄이면서 의미적 정밀도를 유지합니다.
존재론적 모호성(Ontological Ambiguity): — 대상의 외형은 질의 개념과 비슷하지만 실제 종류나 존재 상태는 다른 상황입니다. 이 논문에서는 그림 속 인물과 실물 조각상이 사람으로 오인되는 문제가 대표 사례입니다.

ENEAS: 의미 검증을 결합한 텍스트 기반 영상 분할

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장