통합 다중모달 생성 관점에서 재정의한 컴퓨터 비전과 SenseNova-Vision

다양한 시각 과제가 각기 다른 출력 형식과 전용 아키텍처에 의존하던 상황에서 SenseNova-Vision은 텍스트 생성과 이미지 생성이라는 통일된 출력 공간으로 모든 과제를 표현해 하나의 모델로 광범위한 비전 작업을 처리할 수 있음을 보였다. 이 접근은 서로 다른 태스크의 감독 신호를 동일한 네이티브 생성 목표로 재구성함으로써 데이터 재사용성과 조합 가능성을 높였고, 언어 기반 변형이나 혼합 목표를 자연스럽게 수용할 수 있게 했다. 단일 UMM에서 구조화된 레코드, 밀집 기하 지도, 마스크, 다중뷰 포인트맵과 카메라 포즈를 모두 디코딩 가능한 형태로 학습했다는 점이 향후 범용 비전 기반 파운데이션 모델 확장의 실용적 경로를 제시한다.

기존 비전 파이프라인은 각 작업마다 다른 출력 형식과 전용 아키텍처·손실·디코딩 규칙을 요구했기 때문에 서로 다른 태스크의 감독 신호를 공유하거나 결합하기 어려웠다. 이러한 구조는 검출의 박스, 세분화의 마스크, 깊이의 연속값, 카메라 포즈의 연속 파라미터 등 출력 형식의 이질성에서 기인했다. 본 연구는 이질적 출력을 텍스트·이미지·텍스트+이미지라는 두 가지 네이티브 생성 공간으로 모두 표현하면 동일한 UMM 내에서 일관된 학습 신호를 제공할 수 있다고 보았다.

통일적 해결책의 핵심은 출력의 '표현화'다. 기호화된 레코드(박스, 키포인트, OCR 등)는 정규화 좌표와 경계 마커를 포함한 텍스트 시퀀스로 직렬화하고, 밀집 기하(깊이, 노멀, 포인트맵)는 입력과 정렬된 이미지로 인코딩하여 VAE 잠재공간에 매핑한다. 카메라 포즈 같은 연속 파라미터는 양자화된 전용 토큰으로 텍스트 어휘에 포함시켜 모델이 텍스트 생성으로 포즈를 반환하도록 만들었다. 이렇게 하면 동일한 next-token 예측 루프와 이미지 디코더 경로로 다양한 목표를 학습할 수 있다.

이 접근은 '무엇을' 출력할지와 '어떻게' 디코딩할지를 명령문으로 지정하는 점에서 유연성을 제공한다. 언어 지침이 태스크·타깃·디코딩 규칙을 규정하고, 모델은 텍스트 생성으로 기호적 응답을 내거나 이미지 생성으로 픽셀 정렬된 기하를 반환하거나 둘을 조합해 복합적 목표를 만든다. 결과적으로 단일 UMM이 태스크 특화 헤드 없이도 다양한 벤치마크 목표를 복원할 수 있게 되었고, 훈련 데이터와 프롬프트를 통해 새로운 언어 정의 변형을 생성·일반화하는 능력이 나타났다.

전체 접근은 세 단계로 구성된다: 어노테이션 변환 프로토콜 설계, 대규모 지시-응답 코퍼스 구축, 사전학습 UMM을 대상으로 한 혼합 태스크 SFT이다. 각 원천 데이터셋의 어노테이션을 텍스트·이미지·혼합 응답으로 결정론적으로 변환하는 규칙을 정의했고, 변환된 샘플은 입력 이미지(단일/다중)와 자연어 지시문으로 페어링되어 UMM의 네이티브 생성 공간에 맞춘 학습 타깃이 되었다. 지시문은 태스크 의도, 출력 스키마, 디코딩 규칙을 명시하며 동일한 소스 이미지에서 태스크별로 독립된 예제를 유지해 다중 태스크 학습을 촉진했다.

학습 목표는 출력 모달리티에 따라 분리되었다. 텍스트형 출력은 표준 next-token cross-entropy(CE)로 최적화했고, 이미지형 출력은 VAE 인코딩 후 rectified-flow 기반 손실로 최적화했다. 이때 VAE 인코더는 SFT 동안 고정(frozen)해 시각 타깃의 잠재 표현이 안정적으로 유지되도록 했고, 모델의 나머지 모듈과 커넥터는 학습 가능하게 두어 멀티모달 표현을 조정했다. 카메라 포즈는 논문에서 2,009개의 어휘 엔트리를 재할당해 2,001개의 양자화된 포즈 토큰과 8개의 구조적 플레이스홀더로 구성했다.

훈련 데이터 구성은 SN-VC와 보조 멀티모달 데이터의 가중 혼합으로 이루어졌다. 미니배치는 변환된 컴퓨터 비전 샘플과 VQA·텍스트-투-이미지·이미지-투-이미지 같은 일반 멀티모달 샘플을 함께 샘플링해 모델의 개방형 생성 능력을 보존하면서 태스크별 출력 복원 능력을 키웠다. 고해상도 세그멘테이션을 위해 SigLIP2 입력 해상도를 최대 980픽셀로 유지했으며, 다중뷰 장면은 최대 10개 뷰를 랜덤 선택해 메모리 한계를 관리했다. 최적화는 AdamW로 학습률 2.5×10^-5, 50K 스텝(워밍업 500스텝), EMA 비율 0.995를 사용했다.

데이터 보강·큐레이션 측면에서 일부 공개 소스의 불완전한 감독은 MoGe-2를 이용한 깊이 밀집화, Rex-Omni 파이프라인의 검출·OCR 확장, 특정 세분화 태스크를 위한 색상·설명 정렬 작업 등으로 보완했다. SN-VC-50M에 포함된 5천만 예제는 이러한 생성·큐레이션 결과를 포함하며 나머지 복원 가능한 부분은 소스 목록과 템플릿을 공개해 재구성이 가능하게 설계되었다.

SenseNova-Vision은 구조화된 시각 이해, 밀집 기하 예측, 세분화, 다중뷰 기하의 벤치마크에 대해 경쟁력 있는 성능을 보였다. 구조화된 이해 계열에서 COCO-Common 검출에서 F1@mIoU 56.6을 기록했고 RefCOCOg와 OCR·키포인트 등 다수의 평가에서 Bagel 및 다른 일반화 모델과 비교해 우수하거나 근접한 결과를 냈다. 밀집 기하 분야에서는 KITTI δ1 95.9%, NYUv2에서 abs rel 4.0과 δ1 98.1 등의 수치로 generation 기반 기하 모델들과 경쟁하거나 우위를 보였다.

세분화 작업에서는 전반적으로 통합 모델로서 경쟁력을 보였으며, Reasoning·GCG 세분화에서 특히 강점을 나타냈다. 다만 전통적 세분화 특화 모델(SAM, Mask2Former 등)은 일부 generic·referring 지표에서 여전히 우수해 태스크 특화 프리트레인과 구조적 편향의 이점이 남아있었다. 다중뷰 복원과 카메라 포즈 추정에서는 ETH3D·CO3Dv2 등에서 경쟁력 있는 AUC 및 F1을 보였으나, 일부 지표에서는 지오메트리 특화 모델 대비 격차가 존재해 기하 inductive bias가 여전히 중요함이 확인됐다.

학습 동역학 관찰에서는 깊이·노멀 같은 픽셀 정렬 밀집 과제가 상대적으로 빠르게 수렴했고, 카메라 포즈와 같이 뷰 간 정렬을 요구하는 과제는 느리게 수렴하는 경향이 관찰되었다. 이 패턴은 입력-출력 정렬 특성과 사전학습으로부터의 전이 가능성에 의해 설명되며, 서로 다른 시각 능력들의 학습 난이도가 단계적으로 달라짐이 나타났다.

아키텍처 측면에서 SenseNova-Vision은 Bagel-7B-MoT라는 off-the-shelf UMM을 기반으로 하여 텍스트 디코더와 이미지 디코더(및 VAE)를 그대로 사용하되 입력·출력 포맷을 통일된 지시-응답 샘플로 맵핑해 미세조정했다. VAE 인코더는 SFT 동안 고정했으며 모델의 나머지 모듈과 멀티모달 커넥터를 학습 가능하게 두어 텍스트·이미지 양쪽의 표현을 재조정했다. 시각 타깃 이미지는 VAE 잠재공간으로 인코딩되어 rectified-flow 기반 손실로 최적화되며, 텍스트 목표는 next-token CE 손실로 학습된다.

포즈 표현은 논문에서 2,009개의 어휘 항목을 재할당해 2,001개의 양자화된 포즈 토큰과 8개의 구조 토큰으로 구성했다. 각 카메라 뷰는 쿼터니온 회전, 단위 방향의 이동 벡터, 스케일로 표기되며 이들 파라미터는 사전에 정해진 양자화 해상도로 토큰화되어 텍스트 시퀀스로 직렬화된다. 다중뷰 포인트맵은 각 픽셀에 정규화된 3D 좌표를 RGB 채널에 인코딩한 이미지로 저장되어 VAE-디코더로부터 복원 가능하다.

학습 설정은 AdamW, 학습률 2.5×10^-5, 배치 토큰 패킹(랭크당 32K–36K 토큰), 최대 컨텍스트 윈도우 32K, 드롭아웃 텍스트 0.05, ViT 및 VAE 입력 0.1, 총 50K 스텝(워밍업 500스텝), EMA 비율 0.995를 사용했다. 고해상도 조건화를 위해 SigLIP2 입력 해상도를 최대 980픽셀로 유지했고, 다중뷰 샘플은 메모리 제약으로 최대 10뷰를 무작위 선택해 학습했다.

데이터 파이프라인에서는 공개 어노테이션을 텍스트·이미지·혼합 출력으로 결정론적으로 변환하는 템플릿을 사용했고, 불완전한 감독은 MoGe-2로 깊이 밀집화를 수행하거나 Rex-Omni 파이프라인을 활용해 검출·OCR 데이터를 확장했다. SN-VC-50M은 생성·큐레이션된 50M 예제를 포함하며 나머지 SN-VC 구성은 소스 목록과 변환 스크립트로 재현 가능하게 공개되었다.

몇몇 벤치마크에서 기하·세분화 특화 모델 대비 성능 격차가 존재해 기하적 inductive bias와 태스크별 프리트레인이 여전히 이득을 제공한다는 한계가 드러났다. 카메라 포즈와 같이 뷰 간 정렬을 필요로 하는 태스크는 수렴 속도가 느리고 양자화된 포즈 토큰의 해상도와 표현 한계가 정확도 병목을 유발할 수 있다. SN-VC의 생성·큐레이션 과정이 포함된 데이터는 특정 도메인 편향을 포함할 가능성이 있어 도메인 일반화와 편향 분석이 추가로 필요하다.