Show-O 2: 단일 트랜스포머로 텍스트와 비디오를 통합하는 네이티브 멀티모달 모델 분석

• •분리된 모델(Decoupled)과 네이티브 통합 모델(Unified)의 구조적 차이
• •단일 모델 내에서 이해와 생성 능력을 동시에 확보하는 것의 기술적 난제
• •비디오 모달리티 지원을 통한 기존 Show-O 모델의 확장

네이티브 모델은 별도의 어댑터 없이 단일 가중치 세트 내에서 여러 데이터 유형을 직접 처리하는 모델을 의미한다.

• •비디오 처리를 위한 3D Causal VAE의 시간축 인과성 유지 방식
• •고수준 의미(Semantic)와 저수준 디테일(Pixel)을 분리하여 처리하는 이중 경로 구조
• •두 경로의 정보를 통합하는 Spatial-Temporal Fusion 메커니즘

VAE는 데이터를 잠재 공간으로 압축했다가 다시 복원하는 신경망 구조로, 생성 모델의 핵심 구성 요소이다.

• •Diffusion 대비 Flow Matching이 가지는 샘플링 효율성 및 선형적 경로 학습의 이점
• •텍스트(자기회귀)와 이미지(플로우 매칭) 처리를 위한 개별 헤드 구성
• •단일 트랜스포머 내에서 서로 다른 생성 패러다임을 통합한 방식

Flow Matching은 최근 Stable Diffusion 3 등 최신 모델에서 Diffusion의 복잡성을 해결하기 위해 도입되고 있는 차세대 생성 기법이다.

• •텍스트의 Causal 특성과 시각 데이터의 Bidirectional 특성을 동시에 지원하는 마스킹 전략
• •모달리티 간 상호 작용 시 발생하는 어텐션 패턴의 최적화
• •비디오 생성 시 프레임 간 일관성을 유지하기 위한 어텐션 활용

어텐션 마스킹 전략에 따라 모델이 데이터를 참조하는 범위가 결정되며, 이는 모델의 추론 능력에 직접적인 영향을 미친다.

• •언어 지식을 보존하면서 시각 능력을 주입하는 가중치 동결(Freezing) 전략
• •대학 연구실 예산 범위 내에서 가능한 효율적인 컴퓨팅 자원 활용
• •1.5B 모델과 7B 모델 간의 성능 비교 및 확장성 검증

학습 레시피는 모델의 성능을 결정짓는 데이터 구성, 학습 순서, 하이퍼파라미터 설정 등을 포괄하는 개념이다.