텍스트-투-이미지 모델은 귀납적 칠면조인가? 인과적 추론을 위한 반사실적 벤치마크

텍스트-투-이미지(T2I) 모델의 고품질 생성 능력이 실제로 원인-결과 기반의 반사실적 추론을 반영하는지 불분명하다. CF-World는 모델이 현실적 상식(priors)을 극복해 규칙이 바뀐 세계를 시각적으로 구현할 수 있는지를 직접 측정해, 모델 설계 및 평가 방향을 전환할 기준을 제공한다.

문제 출발점과 기존 한계: T2I 모델은 대량의 텍스트-이미지 공시성(co-occurrence)을 학습해 텍스트와 시각적 패턴을 강하게 정렬한다. 이 정렬은 단순한 속성 결합이나 빈번한 객체 조합에는 유리하나, '규칙이 변경된 세계'에서 원인-결과를 추론해 새로운 시각적 결과를 생성하는 능력에는 제약을 초래한다. 즉, 모델이 텍스트 임베딩과 픽셀 레벨의 네트워크 가중치에 저장된 빈도 기반 priors에 지나치게 의존하면 반사실적 지시를 따르기 어렵다.

전체 접근과 핵심 아이디어: CF-World는 동일한 과학 법칙을 대상으로 세 가지 레벨의 프롬프트(L1 factual, L2 explicit counterfactual, L3 implicit counterfactual)를 구성한다. L2는 altered law와 결과를 명시해 모델이 '기본 상식'을 무시하고 지시된 상태를 생성하는지를 평가하고, L3는 altered law만 제공해 모델이 자체적으로 시각적 결과를 도출해야 하는지 검증한다. 각 프롬프트에는 평가 기준으로 쓰이는 Assessment Point가 함께 제공되어 자동 채점이 가능하다.

메인 벤치마크 결과: Table 2 기준으로 대부분의 오픈소스 모델은 L1에서 높은 점수를 보이나 L2·L3로 갈수록 큰 성능 하락을 보였다. 예컨대 일부 오픈소스 모델의 PRR는 대체로 0.50 이하로 측정되어 명시적 반사실적에서 실질적 저항 능력이 제한적이었다. 반면 상용 폐쇄형 모델(Nano Banana Pro 등)은 L2·L3에서 상대적으로 높은 PRR·RRR를 유지했다(예: Nano Banana Pro L1≈0.95, L2≈0.67, L3≈0.58).

전체 아키텍처 구조: 본 연구는 주로 평가·진단 프레임워크를 제시한다. 데이터 파이프라인은 수동으로 선정한 기초 과학 법칙 집합을 바탕으로 LLM을 이용해 L1/L2/L3 프롬프트와 Assessment Point를 생성하고, 전문가의 인간 심사를 거쳐 최종 데이터셋(1,091 groups, 3,273 prompts)을 구성했다. 모델 평가 파이프라인은 VLM(Qwen3-VL-235B, Gemini-3-Pro)을 사용해 생성 이미지의 세 차원 점수를 산출한다.

연구는 진단적 성격이며 알고리즘적 해결책을 제시하지 않는다. 벤치마크 설계는 중학교 수준의 기초 법칙을 대상으로 제한되어 있어 고급 전문 지식 기반의 반사실적 시나리오 평가는 포함되지 않는다.