sudoremoveAI/ML조회 2회

Yann LeCun과 Fei-Fei Li가 창업한 월드모델 스타트업: AMI Labs와 World Labs 분석

Yann LeCun의 AMI Labs와 Fei-Fei Li의 World Labs가 각각 JEPA 기반의 Latent 공간 예측과 3D 공간 생성이라는 서로 다른 방식으로 구현하는 차세대 월드모델 기술을 분석한다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Yann LeCun은 픽셀 생성이 아닌 Latent 공간에서의 예측(JEPA)을, Fei-Fei Li는 물리적 일관성을 갖춘 3D 공간 생성을 통해 진정한 AI 지능을 구현하고자 한다.

배경

Waymo나 NVIDIA처럼 픽셀을 생성하는 기존 비디오 월드모델의 한계를 극복하기 위해 AI 석학들이 새로운 접근법을 제시하고 있다.

대상 독자

월드모델의 최신 연구 트렌드와 AI 석학들의 창업 방향성에 관심 있는 AI 엔지니어 및 연구자

의미 / 영향

이 영상은 LLM의 한계를 지적하며 차세대 AI의 핵심으로 월드모델을 제시한다. 연구자들은 픽셀 생성에 집착하기보다 물리 법칙을 내재화할 수 있는 Latent 공간 설계나 3D 환경 구축에 집중할 필요가 있다. 향후 로보틱스 제어 모델은 이러한 월드모델 위에서 더 적은 실데이터로도 정교한 물리 조작을 학습하게 될 것이다.

챕터별 상세

00:00

월드모델의 정의와 기존 비디오 생성 모델의 한계

월드모델은 에이전트가 특정 액션을 취했을 때 미래의 상태가 어떻게 변할지 예측하는 모델이다. 기존 Waymo나 Google DeepMind의 비디오 생성 기반 모델은 픽셀 단위로 미래를 그리려다 보니 물리 법칙을 완벽히 반영하지 못하거나 계산 자원이 과도하게 소모되는 문제가 있었다. 특히 머리카락이나 유체처럼 복잡한 물리 현상을 시뮬레이션하는 데 한계가 있어 이를 해결하기 위한 새로운 접근이 필요해졌다.

강화학습에서 에이전트가 환경과 상호작용하며 학습하는 시뮬레이터 역할을 뉴럴 네트워크로 대체하려는 시도가 월드모델의 핵심이다.

07:20

Yann LeCun의 AMI Labs와 JEPA 아키텍처

Yann LeCun은 LLM이 에러를 누적시키는 구조적 한계가 있다고 비판하며 AMI Labs를 설립했다. 이 회사의 핵심 기술인 JEPA는 이미지를 픽셀로 복원하는 대신 Latent 공간에서 마스킹된 부분을 예측하는 Self-supervised 학습 방식을 사용한다. 이는 불필요한 세부 정보(픽셀)를 무시하고 핵심적인 추상적 정보만 학습하여 더 효율적이고 정확한 세계 이해를 가능하게 한다.

JEPA는 Joint-Embedding Predictive Architecture의 약자로, 입력값들 사이의 관계를 공통된 임베딩 공간에서 학습하는 구조다.

16:14

디코더 없는 JEPA의 액션 샘플링 전략 (CEM)

JEPA는 픽셀을 생성하는 디코더가 없기 때문에 에이전트의 액션을 직접 출력하지 못하는 문제가 있다. 이를 해결하기 위해 CEM(Cross-Entropy Method)이라는 샘플링 방식을 도입하여 수백 개의 무작위 액션을 시도해보고 목표 상태에 가장 가까운 임베딩을 만드는 액션을 선택한다. 가우시안 분포에서 액션을 샘플링하고 상위 50개를 골라 다시 분포를 업데이트하는 과정을 반복하여 최적의 경로를 찾아낸다.

CEM은 최적화 문제를 풀기 위해 확률 분포를 반복적으로 업데이트하며 샘플링하는 몬테카를로 방식의 일종이다.

24:52

Fei-Fei Li의 World Labs와 3D Spatial World Model

Fei-Fei Li가 창업한 World Labs는 2D 비디오가 아닌 3D 공간 자체를 생성하는 월드모델을 지향한다. NeRF와 Gaussian Splatting 기술을 기반으로 단일 이미지나 비디오에서 자유롭게 시점을 이동할 수 있는 3D 환경인 'Marble' 프로덕트를 선보였다. 이는 로봇이 실제 환경을 디지털 트윈으로 구축하고 그 안에서 다양한 물리적 상호작용을 학습할 수 있는 기반을 제공한다.

NeRF는 여러 각도의 사진을 통해 3D 공간을 뉴럴 네트워크로 표현하는 기술이며, Gaussian Splatting은 이를 더 빠르게 렌더링하는 최신 기법이다.

28:17

월드모델 3대 진영 비교 및 총평

현재 월드모델은 Yann LeCun의 Latent 공간 예측 진영, Google/NVIDIA의 비디오 생성 진영, 그리고 World Labs의 3D 공간 생성 진영으로 나뉜다. JEPA 진영은 효율적인 추상화를 강조하지만 액션 생성의 비실용성이 숙제이며, 비디오 생성 진영은 시각적 사실성은 높으나 물리 법칙 준수가 어렵다. World Labs는 물리적 일관성이 있는 3D 공간을 제공함으로써 로보틱스 시뮬레이션의 새로운 가능성을 열고 있다.

언급된 리소스

문서World Labs

논문V-JEPA 2 논문

논문LeWorldModel 논문

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 04. 10.수집 2026. 04. 10.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.