TailOR: 시각적 월드 모델 평가에서 도구 기반 롱테일 상호작용 검증

TailOR는 이미지와 비디오 생성 모델이 일반적 시나리오를 넘어 드문 도구 사용 상황에서 물리적 원리를 얼마나 내재화했는지를 가늠하는 평가 기준을 제공한다. 이 벤치마크는 모델이 단순한 시각 패턴 재현을 넘어 어포던스와 제약을 기반으로 결과를 예측하고 목표 상태를 재현할 수 있는지를 분리해서 측정한다. 결과적으로 모델의 물리적 추론 능력과 제어 가능성 개선이 필요한 구체적 영역을 드러낸다.

출발점과 기존 한계는 다음과 같다. 현재 대형 이미지·비디오 생성 모델은 대규모 데이터에서 빈번한 상호작용 패턴을 학습하여 높은 시각적 현실감을 달성했지만, 이 성과가 물리적 원리의 내재화와 동의어가 되지는 않는다. 익숙한 도구-과업 쌍에서는 시각적 패턴 재현만으로도 정답처럼 보이는 결과를 생성할 수 있으며, 그러한 표상은 드문 상황에서의 일반화 능력을 보장하지 못한다. 따라서 롱테일 상호작용은 모델이 어포던스, 강성, 기하학적 적합성 같은 물리적 속성을 추론하고 조합할 수 있는지 검증하는 핵심 문제다.

해결 원리는 다음과 같다. TailOR는 동일한 과업 목표에 대해 정규 도구, 어포던스가 유지된 비정규 도구, 어포던스가 위반된 불가능 도구를 체계적으로 생성하여 세 가지 난이도 모드를 만든다. Predictive 설정에서는 모델이 결과를 숨긴 상태에서 내부적 물리 지식을 사용해 결과를 추론해야 하고, Descriptive 설정에서는 목표 상태를 명시하여 모델이 제시된 물리 제약을 충족하며 결과를 구현해야 한다. 이 분리는 모델의 '추론 능력'과 '제어·실행 능력'을 분명히 구분해 실패 원인을 좁히는 역할을 한다.

달라지는 점은 다음과 같다. 단순한 시각적 사실 재현을 넘어서 어포던스 수준의 조합적 추론을 요구함으로써 모델의 일반화 격차가 노출된다. 실험 결과는 Regular에서 Unconventional, Impossible으로 갈수록 Instruction Adherence와 Interaction Accuracy, Physical Realism 점수가 일관되게 하락함을 보여주어 많은 모델이 빈번한 시나리오에서 학습된 템플릿을 재현하는 수준에 머물러 있음을 확인시켰다. 비디오 모델의 경우 시간적 전파와 초기 프레임의 작은 오류가 시퀀스 전체에 걸쳐 누적되어 더 큰 실패를 야기하는 특성이 관찰되었다.

전체 접근 방식과 핵심 아이디어는 다음과 같다. 데이터 생성 파이프라인은 HICO-DET 기반의 행동 후보 집합과 ConceptNet 기반의 객체-어포던스 그래프를 결합해 각 과업에 대한 요구 속성들을 정의한다. 이후 LLM을 활용해 어포던스에 부합하는 비정규 대체물과 어포던스 반대 속성을 가진 불가능한 도구 후보를 생성하고, 인간 검수 과정을 통해 시각적 명확성과 물리적 타당성을 확보한다. 이 과정으로 각 태스크는 정규 1개, 비정규 2개, 불가능 2개로 확장되어 평가 인스턴스를 구성한다.

핵심 메커니즘과 평가 파이프라인은 다음과 같다. 각 생성 인스턴스는 Predictive 또는 Descriptive 프롬프트로 변환되어 이미지·비디오 모델에 입력되고, 자동 심사기(gemini-2.5-pro)와 인간 평가자(3명 중복)를 통해 동일한 체크리스트 기반 루브릭으로 채점된다. Instruction Adherence와 Interaction Accuracy는 체크리스트 항목의 평균으로 퍼센트 점수를 산출하고, Physical Realism과 Perceptual Quality는 0~5 척도로 정성 점수를 부여해 다차원 평가 결과를 도출한다. 자동화 점수와 인간 점수의 순위 정렬이 유사함이 검증되어 자동 심사 활용의 타당성이 확보되었다.

학습·검증·구현 세부는 다음과 같이 구성되었다. 각 영상·이미지 모델에 동일한 프롬프트 집합을 입력하고 결과를 수집한 뒤, 루브릭에 따라 점수를 집계하여 시나리오별·설정별 평균을 비교했다. 데이터셋 통계와 모델별 성능은 표로 정리되어 있으며, 실패 모드 분류는 생성물의 결과물과 루브릭 항목 간 불일치를 기반으로 다수 사례를 샘플링해 분석했다. 이 절차는 모델 간 비교와 장르(이미지/비디오)별 취약점 식별에 일관된 기반을 제공한다.

메인 벤치마크 결과는 다음과 같다. 모든 평가 대상 모델에서 Regular→Unconventional→Impossible 순으로 Instruction Adherence와 Interaction Accuracy가 일관되게 하락하여 롱테일 일반화의 뚜렷한 격차가 관찰되었다. 특히 Interaction Accuracy와 Physical Realism에서의 하락폭이 가장 커서 모델들이 단순한 시각적 재현을 넘어 어포던스 기반 인과 추론을 수행하지 못함이 확인되었다.

Ablation 및 실패 분석 결과는 다음과 같다. 이미지 모델은 종종 시각적으로 그럴듯한 장면을 생성하면서도 상태 변화나 속성 재현에 실패했고, 비디오 모델은 시간적 불일치와 동역학적 비현실성으로 인해 추가적인 오류를 보였다. 모델별로는 Nano-Banana-2가 이미지 세트에서 높은 평균 점수를 기록했고 Sora-2가 비디오 부문에서 상대적으로 우수했으나 세부 지표에서는 여전히 롱테일 시나리오 취약성이 남아 있었다.

효율성·자동평가 정합성 관찰은 다음과 같다. gemini-2.5-pro 기반 자동 평가는 인간 평가 순위와 전반적으로 강한 정렬을 보였으며 자동화된 진단이 대규모 비교 실험에서 실용적임이 확인되었다. 다만 일부 정성적 항목에서는 인간 평가자와의 차이가 존재해 최종 결론 도출 시 인간 검증 병행이 필요함이 드러났다.

전체 아키텍처와 데이터 구조는 다음과 같다. TailOR는 행동 기반 태스크 정의, LLM을 통한 비정규·불가능 도구 생성, ConceptNet 기반 객체-어포던스 그래프 조회, 그리고 인간 검수의 순서로 데이터 파이프라인을 구성했다. 각 태스크는 요구 속성 집합을 포함하며 이 속성에 기초해 대체물과 위반 사례를 자동으로 생성하고 검증된 인스턴스를 생성한다.

핵심 메커니즘의 수학적·알고리즘적 기반은 평가 루브릭의 계량화에 있다. Instruction Adherence와 Interaction Accuracy는 체크리스트 항목의 산술 평균으로 퍼센트 점수를 계산하고 Physical Realism과 Perceptual Quality는 0~5 점수로 정성 평가를 수치화한다. 이러한 계층적 지표는 조건부 문항(예: 비디오의 경우 motion plausibility)과 공통 문항을 분리해 집계하며, 자동 심사는 동일한 체크리스트를 LLM 기반 심사자에 투입해 점수를 산출한다.

Prior work 대비 기술적 차별점은 다음과 같다. 기존 벤치마크들이 주로 인지적·지각적 품질과 조합성(compositionality)에 초점을 둔 반면, TailOR는 도구-어포던스 관계와 물리적 제약 위반 사례를 체계적으로 생성해 모델의 물리적 추론 역량을 직접 시험한다. 구현 세부로는 각 태스크당 다중 인스턴스(정규 1, 비정규 2, 불가능 2)를 유지해 통계적 안정성을 확보하고 Predictive/Descriptive 두 설정을 통해 추론 대 실행의 오류 원인을 분리했다.

논문에서 명시된 한계는 다음과 같다. TailOR는 도구 사용 기반의 단일 스텝 상호작용을 중심으로 설계되어 다단계 조작이나 복합 환경에서의 거동을 포괄하지 않는다. 또한 자동 심사기는 인간 점수와 높은 정렬을 보였으나 일부 정성적 판단에서 차이가 존재해 복잡한 물리적 장면에서는 인간 검수가 여전히 필요하다. 마지막으로 벤치마크는 어포던스 생성 과정에서 LLM 제안과 인간 검수에 의존하므로 생성된 불가능 사례가 현실 세계의 모든 실패 양상을 대표한다고 일반화할 수는 없다.