From Pixels to Concepts: Do Segmentation Models Understand What They Segment?

Promptable segmentation의 수준에서 마스크의 공간적 정확도와 개념 적합성 간의 불일치를 드러낸다. CAFE 벤치마크는 속성 수준의 counterfactual 편집에 대해 모델이 본래의 개념을 faithful하게 ground하는지 혹은 시각적으로 눈에 띄는 cue에 의존하는지를 진단한다. 또한 agentic-verification을 통해 semantically invalid한 마스크를 거부하는 것이 가능하다는 것을 보여주며, grounding의 신뢰성 큰 방향을 제시한다.

단계적 문제 정의: 세그먼테이션은 공간적 마스크를 생성하는 저수준 문제이고, PROMPT를 이용해 개념 단위를 지시하는 고수준 문제와 연결된다. 기존 벤치마크는 mask 품질이나 객체 존재 여부를 주로 평가해 Grounding의 개념 충실성을 충분히 검증하지 못한다. CAFE는 target 영역을 유지한 채 속성-level counterfactual를 적용해, positive 프롬프트가 semantically valid한지, negative 프롬프트가 semantically invalid한지를 판단한다. Superficial Mimicry/Context Conflict/Ontological Conflict의 세 가지 유형은 각각 표면적 패턴, 맥락, 물질 구성을 바꿔도 대상의 위치가 유지되도록 설계되어 모델이 semantic cue에 의존하는지 여부를 드러낸다. 이로써 mask가 정확해도 semantic grounding이 부재할 수 있음을 보여준다. 마지막으로 SAM3의 존재 Head를 포함한 agentic-verification은 OC에서 semantically invalid한 케이스를 거부하는 데 유용함을 보여준다.

데이터/실험 파이프라인은 아래와 같이 구성된다. 1) 데이터 풀: COCO-Val2017, LVIS-Val, SA-Co/Gold에서 타깃 객체를 추출 및 ground-truth 마스크 확보. 2) Counterfactual Editing: Gemini-3를 이용해 대상 영역의 속성을 Superficial Mimicry(표면 패턴 교체), Context Conflict(배경 교체), Ontological Conflict(물질/구성 변경)으로 편집하고, Nano-banana-2로 에디팅 실행. 3) Prompt Pair 구성: 각 샘플은 q+(semantically valid)와 q−(semantically invalid) 프롬프트로 구성된다. 4) 인간 검사: 3단계 다중 인간 검토를 통해 편집 품질과 프롬프트 타당성 검증. 5) 평가 프로토콜: cgF1은 IL-MCC와 pmF1의 결합으로, τ=IoU threshold(0.3)와 t=Presence threshold(0.5)로 판단한다. 6) 모델 평가: End-to-end/프롬프트 기반 시스템 및 agentic 파이프라인(CAFE-SAM3) 비교. 7) Threshold Calibration: presence-head가 다른 모델에 대해 LVIS 기반 박스 검출에서 임계값 보정. 8) 분석 지표: FPR(AFPR/UFP), ACSR/UCSR, CSR 등으로 false positives와 concept swap를 분석한다.

주요 결과는 다음과 같다. End-to-end SAM3의 OC에서 IL_MCC가 -0.241로 떨어지는 등 ontological conflict에서 semantic grounding이 약하다. cgF1 또한 OC에서 -10.5에서 44.7로 개선되며 OC에서의 개선 여지가 크다. SAM3의 overall cgF1은 38.5이고 IL_MCC는 0.590, pmF1은 65.4였다. 반면 CAFE-SAM3(GPT-5.5)에서는 cgF1이 63.3으로 상승하고 IL_MCC 0.843, pmF1 75.1로 향상되며 OC에서 cgF1 44.7에서 29.2로 개선된 AFPR/ACSR 감소를 달성한다(OC에서 AFPR 65.6%→25.8%, ACSR 37.8%→6.8%). OC의 false-positive 비율이 여전히 높으나 agentic reasoning이 groundings의 신뢰성을 크게 높임을 보인다. 전체적으로 positive 프롬프트의 개념 보존은 쉽고, semantically invalid한 negative 프롬프트를 거부하는 능력은 agent가 크게 강화된다.

CAFE의 아키텍처는 다음과 같다. 1) 데이터 파이프라인: COCO-Val2017, LVIS-Val, SA-Co/Gold에서 이미지-주석을 뽑아 affine transform으로 입력 해상도에 맞춘다. 2) Editing 파이프라인: Gemini 3로 editing instruction 생성, Nano-Banana-2로 이미지 편집. 3) 프롬프트 구성: q+는 semantically valid, q−는 semantically invalid. 4) Grounding 평가: cgF1(IL-MCC와 pmF1 조합), AFPR, UFPR, ACSR, UCSR 등의 지표로 평가. 5) Calibration: presence-head가 없는 모델은 LVIS 기반 박스 검출 임계값 보정. 6) Agentic 파이프라인: SAM3를 segmentation 도구로 사용하고, GPT-5.5 기반 verifier로 tool-calls를 통해 검증. 7) 한계: 단일 counterfactually-edited target만 평가하므로 다중 인스턴스 상황이나 혼잡한 씬에서의 robust성은 검증되지 않았다.

CAFE는 단일 counterfactually-edited 타깃에 대한 평가에 한정되며, 다중 counterfactual 인스턴스나 관련 인스턴스가 있는 혼합된 장면에서의 robustness는 시험되지 않았다. ontological_conflict 사례의 선정은 전문가의 엄밀한 재검토를 거치며 비교적 낮은 acceptance 비율을 보인다.