챕터별 상세
00:00
데이터 모달리티와 멀티모달 AI의 정의
모달리티는 텍스트, 이미지, 오디오와 같은 데이터의 유형을 의미한다. 기존 LLM은 텍스트 문자열만 토큰화하여 처리하는 단일 모달리티 모델이다. 반면 멀티모달 AI는 텍스트와 이미지, 오디오, LiDAR 등 여러 데이터 모달리티를 동시에 입력받거나 생성할 수 있는 모델을 뜻한다.
01:30
피처 레벨 퓨전: 모듈형 접근 방식
초기 멀티모달 시스템은 기존 LLM에 비전 인코더를 결합하는 피처 레벨 퓨전 방식을 사용했다. 비전 인코더가 이미지에서 특징을 추출하여 수치적 배열인 피처 벡터로 변환하면 이를 LLM이 처리할 수 있는 형태로 투영한다. 이 방식은 구성 요소를 교체하기 쉽고 비용이 저렴하지만, LLM이 원본 신호가 아닌 요약된 설명만 보게 되어 정보 손실이 발생할 위험이 있다.
03:16
네이티브 멀티모달리티와 공유 벡터 공간
네이티브 멀티모달리티는 서로 다른 모델을 연결하는 대신 모든 데이터 타입을 하나의 공유 벡터 공간에서 처리한다. 텍스트, 이미지, 오디오가 모두 동일한 고차원 공간에 토큰화되어 임베딩되므로 모델이 여러 모달리티를 동시에 추론할 수 있다. 예를 들어 '고양이'라는 단어와 고양이 이미지는 의미적 유사성으로 인해 벡터 공간 내에서 가까운 위치에 배치된다.
04:10
이미지 및 오디오의 토큰화 방식
네이티브 모델에서 이미지는 작은 패치 단위로 분할되며 각 패치는 고유한 임베딩 포인트로 변환된다. 오디오 역시 일정 시간 간격의 청크로 나뉘어 동일한 벡터 공간에 임베딩된다. 이를 통해 모델은 화면 구석의 작은 아이콘과 같은 세부 정보를 텍스트 질문과 결합하여 정밀하게 분석할 수 있다.
06:00
비디오 처리를 위한 시공간 추론과 3D 패치
비디오는 시간적 차원이 포함된 연속된 데이터이므로 단순한 프레임 샘플링으로는 움직임의 맥락을 파악하기 어렵다. 최신 네이티브 모델은 2D 패치가 아닌 3D 큐브 형태의 시공간 패치를 사용하여 비디오를 처리한다. 하나의 토큰이 특정 영역의 여러 프레임 정보를 담고 있어 물체를 내려놓는지 들어올리는지와 같은 동작 정보가 토큰 자체에 포함된다.
07:43
Any-to-Any 생성: 멀티모달의 미래
공유 벡터 공간을 사용하면 입력과 출력의 모달리티 제한이 사라지는 Any-to-Any 생성이 가능하다. 모델은 텍스트 입력을 받아 텍스트 설명과 함께 관련 비디오 클립을 동시에 생성할 수 있다. 모든 모달리티가 동일한 공간에서 일관되게 처리되므로 생성된 결과물 간의 논리적 정합성이 유지된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 06.수집 2026. 04. 06.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
