생성 픽셀로 평가하는 공간 인지 연구

공간 인지는 로봇과 에이전트의 실제 상호작용에 직결되는 능력이며 이미지 생성 모델은 공간적 판단을 픽셀로 직접 외현화할 수 있어 기존 텍스트 중심 평가와 불일치가 존재한다. ProVisE는 이 인터페이스 불일치를 해소하여 이미지 생성 모델을 원래 벤치마크 메트릭으로 비교 가능하게 만들며 실무와 연구에서 시각적 근거 기반 판단의 유효성을 검증할 수 있다. 이 접근은 픽셀로 답을 외현화하는 모델과 텍스트로 추론하는 모델의 상호보완적 강점을 식별할 수 있는 평가 기반을 제공한다.

공간 문제는 입력 이미지에서 위치, 영역, 경로 같은 연속적 기하 정보를 요구하며 이러한 정보는 본질적으로 픽셀 공간에서 더 자연스럽게 표현된다. 기존 벤치마크는 정답을 좌표나 텍스트로 규정함으로써 픽셀로 직접 외현화한 해답을 공정하게 비교할 수 없게 만든다. 이 논문은 문제의 출발점을 답안 인터페이스의 불일치로 규정하고, 인터페이스를 통일하면 서로 다른 모델군의 공간 인지를 직접 비교할 수 있음을 보인다.

ProVisE는 세 구성 단계로 작동한다 먼저 각 과제에 대해 시각 프로토콜을 정의한다 시각 프로토콜은 생성 지침, 기대 출력 형식, 무효 규칙, 그리고 생성 결과를 원래 메트릭으로 변환하는 파서 설정을 포함한다 이는 생성 모델이 산출해야 할 픽셀 기반 중간표현을 고정시켜 파싱을 결정론적으로 수행할 수 있게 한다. 두 번째로 에이전틱 빌더가 미구성 벤치마크에 대해 작업 계약을 정규화하고 대표 사례를 관찰한 뒤 재사용, 빌드, 또는 Fallback 경로 중 하나를 선택해 세부 프로토콜을 조립한다 조립된 프로토콜은 소규모 연기 검증을 통해 시각 생성 성공 여부와 파싱 안정성을 확인받아야 한다. 세 번째로 프로토콜에 따라 생성 모델은 제한된 시각적 출력 형식을 생성하고 해당 출력은 파서로 구조화된 예측으로 변환되어 원래 벤치마크 메트릭으로 채점된다 결정론적 이미지 처리와 지오메트리 연산을 우선 사용하며 불가피할 경우 생성물만을 사용한 Fallback 파서를 적용하되 이 파서는 출처 이미지나 질문을 참조하지 못하도록 설계되어 외부 재해석을 방지한다.

SpatialGen Bench 전체 실험에서 텍스트 기반 최상위 시스템 GPT 5.4는 Overall 61.04 점을 기록했고 시각 응답계열 최상위 시스템 GPT Image 2는 Overall 54.49 점을 기록했으며 인간 참조 점수는 87.79였다 이 결과는 현재의 자동화된 시스템들이 인간 수준과 여전히 큰 격차가 있음을 수치로 보여준다. 과제별로는 Depth에서 시각 응답이 +18.85 포인트 우위를 보였고 같은 계열 비교에서는 +50.00 포인트까지 관찰되었으나 Size, Feasibility, Prediction, Counting 등 조합적 변환을 요구하는 과제에서는 텍스트 응답이 우세하여 전체적으로 Reasoning 단계에서 텍스트 모델이 평균 17.63 점 우위였다. 실패 원인 진단에서 시각 응답의 비정답 실패 중 88.03%는 파싱 가능한 결과였으나 부정확한 예측이었고 프로토콜 불이행은 8.46% 파서 실패는 3.45% 생성 실패는 0.06%로 나타나 대부분의 오류가 추론 단계의 부정확성에서 비롯된다는 사실이 확인되었다.

전체 파이프라인은 생성 모델의 출력 형식을 고정하는 시각 프로토콜과 그 출력물을 구조화된 예측으로 변환하는 파서로 구성된다. 시각 프로토콜은 격자 기반 방향 그리드, 인스턴스 마킹, 상대 깊이 지도, 영역 마스크, 상태 렌더링, 궤적 드로잉 등 다양한 답안 형식을 포함하는 프로토콜 풀에서 선택되며 각 프로토콜은 무효 출력 조건과 메트릭 매핑을 명시한다. 에이전틱 구성 과정은 세 경로로 동작한다 재사용은 기존 검증된 프로토콜을 그대로 적용하고 빌드는 등록된 파서 연산자들을 조합해 새로운 프로토콜을 생성하며 Fallback은 생성물 단독 파서를 제한적으로 허용해 커버리지를 유지한다. 평가 설정에서는 31개 시스템을 비교했으며 텍스트 응답 20개와 시각 응답 11개로 그룹화해 동일한 소스 태스크 메트릭으로 점수를 산정했고 각 과제 점수는 [0,1]로 정규화한 후 과제별 평균과 매크로 평균을 사용해 능력 수준별 집계치를 얻었다.

에이전틱 프로토콜 구성은 내부 플래닝과 검증 백엔드에 의존하며 연구에서는 GPT 5.4와 GPT Image 2를 주된 백엔드로 사용해 구성 품질과 실행 가능성을 확보했지만 이 선택이 특정 생성기에게 유리하게 작용할 가능성이 존재한다고 명시했다. 프로토콜 라이브러리의 불완전성은 일부 외부 벤치에서 Fallback 빈도를 높였고 이로 인해 공급자 의존적 변동이 발생할 수 있다. 비교 대상 모델 풀은 아키텍처와 규모, 학습 데이터가 달라서 결과는 현재 시스템들의 특성을 반영하는 진단이지 순수한 모달리티 인과를 증명하지 못한다. 현재 제안은 정적 이미지 벤치마크를 대상으로 설계되어 비디오나 시뮬레이션, 폐쇄 루프 로봇 과제로의 확장은 향후 작업으로 남아 있다.