Vision AI의 미래: 멀티모달에서 월드 모델까지 (Merve 인터뷰)

비전 AI의 성숙도는 기존의 특정 태스크 전용 모델들이 범용 멀티모달 모델로 대체되고 있는 현상을 통해 확인할 수 있다.

LLaVA(Large Language-and-Vision Assistant)는 시각적 인스트럭션 튜닝을 통해 멀티모달 능력을 확보한 대표적인 모델이다.

ViT는 자연어 처리에서 성공한 Transformer 구조를 이미지 처리에 이식하여 비전 분야의 새로운 표준이 되었다.

월드 모델(World Model)은 AI가 물리적 환경의 변화를 예측하고 그 안에서 시뮬레이션할 수 있게 하는 지능의 핵심 요소이다.

파인튜닝은 사전 학습된 모델을 특정 데이터셋이나 태스크에 맞춰 미세 조정하는 과정이다.

허깅페이스(Hugging Face)는 전 세계 AI 모델과 데이터셋이 공유되는 가장 큰 오픈소스 플랫폼이다.