통합 다중모달 생성 관점에서 재정의한 컴퓨터 비전과 SenseNova-Vision

왜 중요한가

다양한 시각 과제가 각기 다른 출력 형식과 전용 아키텍처에 의존하던 상황에서 SenseNova-Vision은 텍스트 생성과 이미지 생성이라는 통일된 출력 공간으로 모든 과제를 표현해 하나의 모델로 광범위한 비전 작업을 처리할 수 있음을 보였다. 이 접근은 서로 다른 태스크의 감독 신호를 동일한 네이티브 생성 목표로 재구성함으로써 데이터 재사용성과 조합 가능성을 높였고, 언어 기반 변형이나 혼합 목표를 자연스럽게 수용할 수 있게 했다. 단일 UMM에서 구조화된 레코드, 밀집 기하 지도, 마스크, 다중뷰 포인트맵과 카메라 포즈를 모두 디코딩 가능한 형태로 학습했다는 점이 향후 범용 비전 기반 파운데이션 모델 확장의 실용적 경로를 제시한다.

핵심 기여

통합 다중모달 생성(Formulation)으로 시각 과제 표현

다중모달 생성 공간을 활용해 검출, OCR, 키포인트, 세분화, 깊이·노멀 같은 밀집 기하, 다중뷰 포인트맵과 카메라 포즈 등 이질적 출력들을 텍스트/이미지/혼합 응답으로 정형화했다. 명령어가 태스크 의도·대상·디코딩 규칙을 규정하고, 모델은 텍스트로 기호적 레코드를 반환하거나 이미지로 공간 신호를 인코딩하거나 두 형식을 혼합해 복합 과제를 수행했다. 이로써 태스크별 특수 헤드 없이도 다양한 출력 형식을 하나의 UMM으로 처리할 수 있었다.

SenseNova-Vision Corpus(SN-VC) 구축 및 50M 예제 공개

공개 이미지·어노테이션을 지시-응답 샘플로 변환하는 데이터 프로토콜을 설계해 구조화된 이해, 밀집 기하, 세분화, 다중뷰 기하의 디코더블 목표를 생성했다. 불완전한 감독은 MoGe-2 등 보조 방법으로 보완하고, 생성·큐레이션 과정을 통해 SN-VC-50M이라는 5천만 예제 규모의 학습 서브셋을 공개해 재현 가능성을 확보했다. 훈련 시 원본 벤치마크 분할의 평가 이미지는 제외해 공정한 성능 비교가 가능하도록 구성했다.

사전학습 UMM(Bagel) 기반의 혼합 태스크 SFT 전략

사전학습된 Bagel-7B-MoT 체크포인트를 출발점으로 텍스트-이미지 혼합 타깃을 섞어 미니배치 단위로 학습했다. 텍스트 출력은 next-token cross-entropy로, 이미지 출력은 VAE 잠재공간과 rectified-flow 목표로 최적화해 서로 다른 출력 모달리티를 동일한 최적화 루프에서 학습했다. 카메라 포즈는 전용 토큰(2,001개로 양자화된 포즈 파라미터)을 재할당해 텍스트 시퀀스로 직렬화했다.

광범위한 태스크에서의 경쟁력 있는 성능

하나의 모델로 구조화된 시각 이해, 밀집 기하 예측, 세분화, 다중뷰 기하를 평가해 여러 벤치마크에서 태스크 특화 시스템에 근접하거나 동등한 성능을 보였다. 예로 구조화된 검출 계열에서 COCO-Common F1@mIoU 56.6, 깊이 추정에서는 KITTI δ1 95.9%, 다중뷰 포인트맵 복원과 카메라 포즈에서는 ETH3D 및 CO3Dv2에서 경쟁력 있는 수치를 기록했다. 동시에 Bagel의 다중모달 능력을 크게 훼손하지 않으면서 새로운 시각 능력을 확장했다.

핵심 아이디어 이해하기

기존 비전 파이프라인은 각 작업마다 다른 출력 형식과 전용 아키텍처·손실·디코딩 규칙을 요구했기 때문에 서로 다른 태스크의 감독 신호를 공유하거나 결합하기 어려웠다. 이러한 구조는 검출의 박스, 세분화의 마스크, 깊이의 연속값, 카메라 포즈의 연속 파라미터 등 출력 형식의 이질성에서 기인했다. 본 연구는 이질적 출력을 텍스트·이미지·텍스트+이미지라는 두 가지 네이티브 생성 공간으로 모두 표현하면 동일한 UMM 내에서 일관된 학습 신호를 제공할 수 있다고 보았다.

통일적 해결책의 핵심은 출력의 '표현화'다. 기호화된 레코드(박스, 키포인트, OCR 등)는 정규화 좌표와 경계 마커를 포함한 텍스트 시퀀스로 직렬화하고, 밀집 기하(깊이, 노멀, 포인트맵)는 입력과 정렬된 이미지로 인코딩하여 VAE 잠재공간에 매핑한다. 카메라 포즈 같은 연속 파라미터는 양자화된 전용 토큰으로 텍스트 어휘에 포함시켜 모델이 텍스트 생성으로 포즈를 반환하도록 만들었다. 이렇게 하면 동일한 next-token 예측 루프와 이미지 디코더 경로로 다양한 목표를 학습할 수 있다.

이 접근은 '무엇을' 출력할지와 '어떻게' 디코딩할지를 명령문으로 지정하는 점에서 유연성을 제공한다. 언어 지침이 태스크·타깃·디코딩 규칙을 규정하고, 모델은 텍스트 생성으로 기호적 응답을 내거나 이미지 생성으로 픽셀 정렬된 기하를 반환하거나 둘을 조합해 복합적 목표를 만든다. 결과적으로 단일 UMM이 태스크 특화 헤드 없이도 다양한 벤치마크 목표를 복원할 수 있게 되었고, 훈련 데이터와 프롬프트를 통해 새로운 언어 정의 변형을 생성·일반화하는 능력이 나타났다.

방법론

전체 접근은 세 단계로 구성된다: 어노테이션 변환 프로토콜 설계, 대규모 지시-응답 코퍼스 구축, 사전학습 UMM을 대상으로 한 혼합 태스크 SFT이다. 각 원천 데이터셋의 어노테이션을 텍스트·이미지·혼합 응답으로 결정론적으로 변환하는 규칙을 정의했고, 변환된 샘플은 입력 이미지(단일/다중)와 자연어 지시문으로 페어링되어 UMM의 네이티브 생성 공간에 맞춘 학습 타깃이 되었다. 지시문은 태스크 의도, 출력 스키마, 디코딩 규칙을 명시하며 동일한 소스 이미지에서 태스크별로 독립된 예제를 유지해 다중 태스크 학습을 촉진했다.

학습 목표는 출력 모달리티에 따라 분리되었다. 텍스트형 출력은 표준 next-token cross-entropy(CE)로 최적화했고, 이미지형 출력은 VAE 인코딩 후 rectified-flow 기반 손실로 최적화했다. 이때 VAE 인코더는 SFT 동안 고정(frozen)해 시각 타깃의 잠재 표현이 안정적으로 유지되도록 했고, 모델의 나머지 모듈과 커넥터는 학습 가능하게 두어 멀티모달 표현을 조정했다. 카메라 포즈는 논문에서 2,009개의 어휘 엔트리를 재할당해 2,001개의 양자화된 포즈 토큰과 8개의 구조적 플레이스홀더로 구성했다.

훈련 데이터 구성은 SN-VC와 보조 멀티모달 데이터의 가중 혼합으로 이루어졌다. 미니배치는 변환된 컴퓨터 비전 샘플과 VQA·텍스트-투-이미지·이미지-투-이미지 같은 일반 멀티모달 샘플을 함께 샘플링해 모델의 개방형 생성 능력을 보존하면서 태스크별 출력 복원 능력을 키웠다. 고해상도 세그멘테이션을 위해 SigLIP2 입력 해상도를 최대 980픽셀로 유지했으며, 다중뷰 장면은 최대 10개 뷰를 랜덤 선택해 메모리 한계를 관리했다. 최적화는 AdamW로 학습률 2.5×10^-5, 50K 스텝(워밍업 500스텝), EMA 비율 0.995를 사용했다.

데이터 보강·큐레이션 측면에서 일부 공개 소스의 불완전한 감독은 MoGe-2를 이용한 깊이 밀집화, Rex-Omni 파이프라인의 검출·OCR 확장, 특정 세분화 태스크를 위한 색상·설명 정렬 작업 등으로 보완했다. SN-VC-50M에 포함된 5천만 예제는 이러한 생성·큐레이션 결과를 포함하며 나머지 복원 가능한 부분은 소스 목록과 템플릿을 공개해 재구성이 가능하게 설계되었다.

주요 결과

SenseNova-Vision은 구조화된 시각 이해, 밀집 기하 예측, 세분화, 다중뷰 기하의 벤치마크에 대해 경쟁력 있는 성능을 보였다. 구조화된 이해 계열에서 COCO-Common 검출에서 F1@mIoU 56.6을 기록했고 RefCOCOg와 OCR·키포인트 등 다수의 평가에서 Bagel 및 다른 일반화 모델과 비교해 우수하거나 근접한 결과를 냈다. 밀집 기하 분야에서는 KITTI δ1 95.9%, NYUv2에서 abs rel 4.0과 δ1 98.1 등의 수치로 generation 기반 기하 모델들과 경쟁하거나 우위를 보였다.

세분화 작업에서는 전반적으로 통합 모델로서 경쟁력을 보였으며, Reasoning·GCG 세분화에서 특히 강점을 나타냈다. 다만 전통적 세분화 특화 모델(SAM, Mask2Former 등)은 일부 generic·referring 지표에서 여전히 우수해 태스크 특화 프리트레인과 구조적 편향의 이점이 남아있었다. 다중뷰 복원과 카메라 포즈 추정에서는 ETH3D·CO3Dv2 등에서 경쟁력 있는 AUC 및 F1을 보였으나, 일부 지표에서는 지오메트리 특화 모델 대비 격차가 존재해 기하 inductive bias가 여전히 중요함이 확인됐다.

학습 동역학 관찰에서는 깊이·노멀 같은 픽셀 정렬 밀집 과제가 상대적으로 빠르게 수렴했고, 카메라 포즈와 같이 뷰 간 정렬을 요구하는 과제는 느리게 수렴하는 경향이 관찰되었다. 이 패턴은 입력-출력 정렬 특성과 사전학습으로부터의 전이 가능성에 의해 설명되며, 서로 다른 시각 능력들의 학습 난이도가 단계적으로 달라짐이 나타났다.

기술 상세

아키텍처 측면에서 SenseNova-Vision은 Bagel-7B-MoT라는 off-the-shelf UMM을 기반으로 하여 텍스트 디코더와 이미지 디코더(및 VAE)를 그대로 사용하되 입력·출력 포맷을 통일된 지시-응답 샘플로 맵핑해 미세조정했다. VAE 인코더는 SFT 동안 고정했으며 모델의 나머지 모듈과 멀티모달 커넥터를 학습 가능하게 두어 텍스트·이미지 양쪽의 표현을 재조정했다. 시각 타깃 이미지는 VAE 잠재공간으로 인코딩되어 rectified-flow 기반 손실로 최적화되며, 텍스트 목표는 next-token CE 손실로 학습된다.

포즈 표현은 논문에서 2,009개의 어휘 항목을 재할당해 2,001개의 양자화된 포즈 토큰과 8개의 구조 토큰으로 구성했다. 각 카메라 뷰는 쿼터니온 회전, 단위 방향의 이동 벡터, 스케일로 표기되며 이들 파라미터는 사전에 정해진 양자화 해상도로 토큰화되어 텍스트 시퀀스로 직렬화된다. 다중뷰 포인트맵은 각 픽셀에 정규화된 3D 좌표를 RGB 채널에 인코딩한 이미지로 저장되어 VAE-디코더로부터 복원 가능하다.

학습 설정은 AdamW, 학습률 2.5×10^-5, 배치 토큰 패킹(랭크당 32K–36K 토큰), 최대 컨텍스트 윈도우 32K, 드롭아웃 텍스트 0.05, ViT 및 VAE 입력 0.1, 총 50K 스텝(워밍업 500스텝), EMA 비율 0.995를 사용했다. 고해상도 조건화를 위해 SigLIP2 입력 해상도를 최대 980픽셀로 유지했고, 다중뷰 샘플은 메모리 제약으로 최대 10뷰를 무작위 선택해 학습했다.

데이터 파이프라인에서는 공개 어노테이션을 텍스트·이미지·혼합 출력으로 결정론적으로 변환하는 템플릿을 사용했고, 불완전한 감독은 MoGe-2로 깊이 밀집화를 수행하거나 Rex-Omni 파이프라인을 활용해 검출·OCR 데이터를 확장했다. SN-VC-50M은 생성·큐레이션된 50M 예제를 포함하며 나머지 SN-VC 구성은 소스 목록과 변환 스크립트로 재현 가능하게 공개되었다.

한계점

몇몇 벤치마크에서 기하·세분화 특화 모델 대비 성능 격차가 존재해 기하적 inductive bias와 태스크별 프리트레인이 여전히 이득을 제공한다는 한계가 드러났다. 카메라 포즈와 같이 뷰 간 정렬을 필요로 하는 태스크는 수렴 속도가 느리고 양자화된 포즈 토큰의 해상도와 표현 한계가 정확도 병목을 유발할 수 있다. SN-VC의 생성·큐레이션 과정이 포함된 데이터는 특정 도메인 편향을 포함할 가능성이 있어 도메인 일반화와 편향 분석이 추가로 필요하다.

실무 활용

SenseNova-Vision의 설계는 하나의 UMM로 여러 컴퓨터 비전 태스크를 통합하려는 실무적 요구에 부합한다. 모델과 SN-VC-50M 데이터셋이 공개되어 있어 연구·프로토타이핑 단계에서 다양한 태스크를 통합한 파이프라인을 빠르게 구축할 수 있다. 다만 생산환경 도입 시에는 태스크별 성능·지연·자원 요구를 개별적으로 평가해야 한다.

다중 태스크 학습 워크플로에서 단일 모델로 검출·세분화·깊이 추정·포즈 예측을 처리해 운영 복잡도를 줄이는 모델 통합 파이프라인 구축
언어 정의 변형이 필요한 인터랙티브 세분화나 특정 지역·색상·속성 기반 마스크 생성처럼 사용자 프롬프트로 태스크를 정의하는 어플리케이션
다중뷰 입력을 이용한 장면 재구성 및 카메라 포즈 초기 추정 파이프라인에서 빠른 프로토타이핑 및 데이터 생성 보조

코드 공개 여부: 공개

코드 저장소 보기

키워드

unified-multimodal-model(통합 다중모달 모델)instruction-response corpus(지시-응답 코퍼스)dense geometry(밀집 기하)multi-view reconstruction(다중뷰 재구성)rectified-flow(정정 흐름)

용어 해설

통합 다중모달 모델(Unified Multimodal Model): — 텍스트와 이미지를 동시에 입력·출력할 수 있도록 설계된 생성형 모델로, 텍스트 생성과 이미지 생성을 동일한 네이티브 출력 공간으로 취급해 서로 다른 형태의 시각 과제(기호화된 레코드, 밀집 이미지 맵, 혼합 출력)를 한 모델 내부에서 일관되게 표현하고 학습할 수 있게 한다.
지시-응답 코퍼스(Instruction-Response Corpus): — 자연어 지시문과 그에 대응하는 디코더블 응답(텍스트, 이미지, 텍스트+이미지)을 한 쌍으로 정형화한 데이터셋으로, 서로 다른 시각 어노테이션을 통일된 생성 목표로 변환해 모델에 직접 지도학습 신호를 제공한다.
정정 흐름(정체화된 흐름)(Rectified-Flow): — 이미지 생성 경로에서 시각 타깃(마스크, 깊이, 노멀 등)을 VAE 잠재공간으로 매핑한 뒤, 복원 과정을 최적화하기 위해 사용하는 학습 목적 함수로서 이미지 생성 품질과 디코딩의 안정성을 높이는 역할을 한다.
포인트 맵(Point Map): — 다중뷰 장면 복원을 위해 각 뷰의 픽셀 위치마다 정규화된 3차원 좌표(X,Y,Z)를 RGB 채널에 인코딩한 이미지 형태의 밀집 기하 정보로, 이미지 디코더 출력으로부터 직접 복원 가능하도록 설계된다.
포즈 토크나이제이션(Pose Tokenization): — 쿼터니온 회전, 단위 이동 벡터, 스케일과 같은 연속적 포즈 파라미터를 유한한 어휘 토큰으로 양자화하여 모델의 텍스트 생성 공간에서 카메라 포즈를 구조화된 시퀀스로 출력하게 만드는 기법이다.

통합 다중모달 생성 관점에서 재정의한 컴퓨터 비전과 SenseNova-Vision

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드