언어 모델링을 넘어서: 멀티모달 사전 학습에 대한 탐구

섹션별 상세

Transfusion 프레임워크를 활용하여 텍스트는 다음 토큰 예측으로, 비디오 및 이미지는 디퓨전 방식으로 처리하는 통합 사전 학습 실험을 처음부터 수행하여 멀티모달 모델의 설계 공간을 분석했다.

Representation Autoencoder(RAE)가 시각적 이해와 생성 성능을 모두 극대화하는 최적의 통합 시각 표현 방식임을 실험을 통해 확인했다.

시각 데이터와 언어 데이터는 서로 보완적인 관계에 있으며 통합 학습 과정에서 일반적인 월드 모델링 능력이 자연스럽게 발현된다는 점을 발견했다.

IsoFLOP 분석을 통해 시각 데이터가 언어 데이터보다 훨씬 더 많은 양을 필요로 한다는 스케일링 비대칭성을 수치적으로 규명했다.

Mixture-of-Experts(MoE) 구조는 언어에 필요한 높은 모델 용량을 제공하면서 시각의 데이터 집약적 특성을 수용하여 스케일링 비대칭성을 조화롭게 해결한다.