챕터별 상세
00:00
인트로: COSMOS-3와 월드 모델
COSMOS-3는 추론, 월드 생성, 액션 생성을 하나로 합친 투타워 Mixture of Transformers 옴니모델이다. 연구자들은 이 모델이 진정한 의미의 월드 모델로서 기능하는지, 그 이름값에 부합하는지 분석한다.
00:55
옴니모델 vs 멀티모달
입력과 출력의 모달리티가 모두 멀티모달인 경우를 옴니모델이라 부른다. 단순히 입력만 멀티모달인 경우와 구분하여, COSMOS-3가 지향하는 네이티브 옴니모달의 정의를 논의한다.
01:47
COSMOS-3 스펙 및 모달리티
COSMOS-3는 텍스트, 이미지, 오디오, 액션을 통합 처리한다. 각 모달리티의 입출력 특성을 살펴보고, 물리 AI를 위한 기반 모델로서의 스펙을 검토한다.
03:27
모델 크기 및 성능 기대치
모델의 파라미터 크기와 성능 간의 관계를 토론한다. 월드 모델은 단순 언어 모델보다 더 많은 파라미터가 필요할 수 있다는 기대치와 실제 구현된 모델의 효율성을 비교한다.
05:06
아키텍처: 리저너 + 제너레이터
COSMOS-3는 리저너(Reasoner)와 제너레이터(Generator)가 결합된 투타워 구조이다. 리저너는 입력을 처리하고, 제너레이터는 오토레그레시브하게 시퀀스를 생성하여 인지와 생성을 효과적으로 분리한다.
07:29
월드·다이내믹스 모델 기능
COSMOS-3가 수행하는 월드 모델링과 다이내믹스 모델링의 기능을 다룬다. 물리 세계의 법칙을 학습하여 미래 상태를 예측하고 액션을 생성하는 메커니즘을 분석한다.
09:25
통합 액션 스페이스
3D 포즈와 6D 회전을 포함한 통합 액션 스페이스를 정의한다. 다양한 로봇 형태에 대응하기 위해 액션을 어떻게 표현하고 학습시키는지 설명한다.
11:40
옴니모달 역사 ①: Chameleon
옴니모달의 시초 격인 Chameleon 모델을 살펴본다. 텍스트와 이미지를 토크나이즈하여 통합 처리하는 방식의 장점과 한계를 토론한다.
14:47
옴니모달 역사 ②: Transfusion
Transfusion 기법을 통해 텍스트와 이미지/비디오를 동일한 토큰 공간에서 처리하는 방식을 분석한다. 이는 옴니모달 모델이 발전하는 과정에서 중요한 이정표가 되었다.
16:41
Mixture of Transformers (MoT)
모달리티별로 가중치를 분리하는 Mixture of Transformers(MoT) 아키텍처를 다룬다. 이를 통해 모델은 효율성을 높이고 다양한 모달리티를 효과적으로 학습한다.
18:29
Qwen3 기반 및 중국 모델 논란
Qwen3 기반 모델의 사용과 관련된 논란을 다룬다. 오픈소스 모델을 기반으로 할 때의 장점과 기술적, 정치적 이슈를 토론한다.
20:23
LLM 인코더 분리
LLM에 모달리티를 더할 때 인코더를 분리하는 전략을 분석한다. 인코더와 디코더를 분리하여 모달리티별 특성을 보존하는 것이 성능 향상에 유리하다는 점을 강조한다.
26:12
FPS·해상도와 유니버설 리워드 모델
영상 생성 시 FPS와 해상도가 성능에 미치는 영향을 논의한다. 유니버설 리워드 모델을 통해 다양한 상황에서 일관된 성능을 내는 방법을 다룬다.
29:58
텍스트 vs 비전, JEPA 논쟁
텍스트와 비전 모달리티의 정보 밀도 차이를 논의한다. JEPA 아키텍처를 중심으로 미래 상태를 예측하는 방식의 장점과 한계를 토론하며 마무리한다.
용어 해설
- 옴니모델(Omni-model)
- — 텍스트, 이미지, 오디오, 액션 등 다양한 모달리티를 단일 모델에서 통합적으로 처리하는 모델이다. 여러 모달리티를 하나의 토큰 공간에서 학습하여 상호 이해와 생성을 가능하게 한다.
- 월드 모델(World Model)
- — 물리 세계의 법칙과 인과관계를 학습하여 미래 상태를 예측하거나 특정 액션에 따른 결과를 시뮬레이션하는 모델이다. 로보틱스 및 물리 AI 분야에서 핵심적인 역할을 한다.
- Mixture of Transformers
- — 모달리티별로 가중치나 파라미터를 분리하여 처리하는 아키텍처이다. 전체 모델을 공유하면서도 특정 모달리티에 특화된 연산을 수행하여 효율성과 성능을 동시에 확보한다.
- Transfusion
- — 텍스트와 이미지/비디오를 동일한 토큰 공간에서 처리하는 기법이다. 서로 다른 모달리티를 통합하여 학습함으로써 멀티모달 이해와 생성 능력을 동시에 향상시킨다.
- JEPA
- — Joint-Embedding Predictive Architecture의 약자로, 얀 르쿤이 제안한 아키텍처이다. 입력 데이터를 잠재 공간에 임베딩한 후, 미래 상태를 예측하는 방식으로 학습한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 13.수집 2026. 06. 13.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
