능동 관찰자를 위한 시험: ActiveVision 벤치마크

사람의 시각은 반복적으로 시선을 옮기며 가설을 세우고 검증하는 능력에 의존하는데, 이 능력은 방사선 판독, 연결 구조 검증, 미세 속성 비교 같은 실제 고위험 작업에 필수적이다. ActiveVision은 현대 MLLM이 단일 이미지 인코딩에 의존하는지 아니면 반복 관찰 루프를 실행하는지를 수량화 가능한 방식으로 만들었다. 이 결과는 모델 설계와 학습 목표가 지각과 추론의 루프를 연결하도록 바뀌어야 한다는 점을 시사한다.

현대의 멀티모달 대형 언어 모델은 이미지 입력을 단일 고정 토큰 시퀀스로 인코딩해 그 위에서 일련의 추론을 수행하는 방식이 일반적이다. 이 접근은 이미지의 전역적 요약을 한 번 만들어 두고 그 요약에 대해 언어적 추론을 진행하게 하므로, 지역별 좌표·연속적 경로·미세 속성처럼 언어 한 문장에 수집하기 어려운 정보는 손실된다. ActiveVision은 그러한 손실을 의도적으로 만들어 모델이 이미지 자체를 반복적으로 참조해야만 정답에 도달하도록 설계되었다.

벤치마크는 세 가지 인지 축으로 구성된 17개의 과제 생성기를 포함한다. 각 생성기는 결정적 난수 시드를 받아 절차적 스캐폴드를 출력하고, 그 스캐폴드는 닫힌 윤곽선, 임의 스플라인 경로, 연속 좌표 등 기하학적 정답을 명확히 정의한다. 스캐폴드는 이후 GPT-image-2에 태스크별 프롬프트와 함께 전달되어 포토리얼리스틱 이미지를 생성하며 이 재렌더링은 위치·카운트·토폴로지를 보존하도록 설계되었다.

주요 실험은 pure-CoT(체인오브토트) 조건에서 진행되었고 정확도는 항목별 정확한 일치 여부로 채점되었다. 최고 성능 모델(GPT-5.5 xhigh)은 85개 항목 중 9개 정답으로 10.6% 정확도를 보였고 인간 참가자 세 명은 평균 96.1%를 달성했다. 추론 노력의 계층을 높여 비용을 크게 늘려도 정확도 향상은 제한적이었고, 에이전트 기반 도구 사용은 속성 비교 과제에서 유의미한 이득을 보였지만 전체 격차를 해소하지는 못했다.

전체 생성 파이프라인은 네 단계로 구성된다: 결정적 파이썬 생성기(스캐폴드), 스캐폴드 출력(정확한 기하 및 GT), GPT-image-2 프롬프트(재렌더링 지시), 그리고 최종 포토리얼리스틱 이미지이다. 각 스캐폴드는 연속 좌표와 무기명 실루엣을 사용하며 닫힌 윤곽선은 랜덤 푸리에 계수 또는 주기 스플라인으로 합성돼 실루엣 공간이 연속적이고 비반복적이다. 평가에서는 각 생성기에서 N=5 인스턴스를 샘플링해 총 85개 항목으로 테스트했고 채점은 문자열 정규화 후 최종 블록의 정확한 일치로 수행되었다.

이미지는 GPT-image-2의 프롬프트 기반 재렌더링으로 생성된 합성적 분포에 속하므로 자연 이미지 전체 분포를 완전하게 대변하지 않는다. 또한 태스크 설계가 '한 번의 언어적 요약으로는 불가능'하도록 구성되어 있어 모델의 기술 발전으로 해당 성질이 약화되면 벤치마크의 난이도 조정이 필요하다. 에이전트 실험은 하나의 도구 집합과 샌드박스 환경에 한정되어 있어 모든 실전 배포 시나리오를 포괄하지는 않는다.