챕터별 상세
LiDAR에서 생성형 모델로의 전환
Amit Jain은 Apple에서 iPhone의 LiDAR 센서 통합과 Vision Pro의 패스스루 기능을 개발하며 3D 데이터의 중요성을 체감했다. 카메라 이후의 기술은 무엇인가라는 질문에서 시작하여, 2020년경 미분 가능한 3D 기술과 생성형 모델의 결합 가능성을 발견했다. 이는 단순한 캡처를 넘어 AI가 3D 공간을 직접 생성하고 이해할 수 있는 시스템인 Luma AI의 창업으로 이어졌다.
LiDAR는 빛을 쏘아 거리를 측정하는 센서로, 자율 주행과 공간 컴퓨팅의 핵심 하드웨어이다.
3D 캡처에서 비디오 생성으로의 확장
초기 Luma는 NeRF와 가우시안 스플래팅을 활용한 3D 캡처 앱으로 인기를 얻었으나, 데이터 확장의 한계에 직면했다. 인터넷에 존재하는 방대한 비디오 데이터가 3D 공간과 시간의 정보를 담고 있다는 점에 착안하여 2023년 비디오 생성 모델 개발로 방향을 전환했다. 비디오는 2차원의 공간과 1차원의 시간을 결합한 3D 표현의 강력한 프록시 역할을 수행한다.
NeRF(Neural Radiance Fields)는 여러 장의 2D 사진으로부터 새로운 시점의 이미지를 합성해내는 기술이다.
Dream Machine의 출시와 사용자 피드백 루프
2024년 3월 출시된 Dream Machine은 600만 명 이상의 사용자를 단기간에 확보하며 방대한 데이터를 생성했다. Luma는 사용자가 선호하는 비디오(좋아요, 다운로드)를 학습 신호로 사용하는 선호도 기반 피드백 루프를 구축했다. 다만 사용자가 AI의 한계를 보여주기 위해 나쁜 결과물을 다운로드하는 경우를 걸러내기 위해 인간 주석가와 튜터가 참여하는 정교한 필터링 시스템을 병행 운영한다.
멀티모달 AI 팩토리 아키텍처
Luma의 AI 팩토리는 데이터 수집, 사전 학습, 사후 학습, 배포 및 강화 학습의 순환 구조로 이루어져 있다. 텍스트, 이미지, 비디오, 오디오 등 각기 다른 모달리티를 개별적으로 처리하던 방식에서 탈피하여 하나의 통합된 신경망에서 처리하는 방향으로 진화했다. 현재는 H100 및 차세대 GPU 클러스터를 활용하여 수백억 파라미터 규모의 모델을 학습시키고 있다.
통합 트랜스포머(Unified Transformer)의 필요성
기존의 분리된 모델 구조는 모달리티 간의 깊은 이해를 방해하고 추론 비용을 높이는 문제가 있었다. Luma는 모든 입력을 동일한 잠재 공간으로 인코딩하여 하나의 백본에서 처리하는 통합 트랜스포머 아키텍처를 채택했다. 이는 인간의 뇌가 시각, 청각 정보를 통합하여 전두엽에서 고차원적인 판단을 내리는 방식과 유사하며, 더 높은 수준의 지능적 일관성을 제공한다.
엔드투엔드(End-to-End) 워크플로와 도구 활용
단순한 픽셀 생성을 넘어 실제 업무를 수행하기 위해 모델은 외부 도구와 상호작용해야 한다. Luma는 모델이 API를 호출하거나 코드를 실행할 수 있는 '도구 하네스(Tool Harness)' 계층을 아키텍처에 통합했다. 이를 통해 사용자의 복잡한 지시를 이해하고, 계획을 세우며, 최종적인 결과물을 만들어내는 에이전트 시스템으로 기능한다.
창작 산업에서의 실무 적용 사례
할리우드 스튜디오와 광고 대행사들은 이미 Luma의 에이전트 시스템을 활용하여 고예산 제작물의 프로토타이핑과 에셋 생성을 진행하고 있다. 예를 들어 프라임 비디오의 신작 'Old Stories' 제작 과정에서 Luma 에이전트가 물리 법칙과 조명을 시뮬레이션하는 데 사용됐다. 이는 창작자들이 실행 단계의 병목 현상에서 벗어나 더 많은 아이디어를 병렬적으로 테스트할 수 있게 한다.
데이터 보안과 스튜디오 클라이언트 대응
대형 스튜디오들은 자신들의 민감한 IP 데이터가 다른 모델 학습에 사용되는 것을 극도로 경계한다. Luma는 SOC 2 인증을 포함한 엄격한 내부 통제 시스템을 통해 특정 프로젝트의 데이터가 학습 루프에 유입되지 않도록 보장한다. 대신 사용자의 상호작용 흔적(Interaction Traces)만을 학습하여 모델의 추론 능력과 인터페이스 사용성을 개선하는 방식을 취한다.
세계 모델(World Model)의 미래와 도전 과제
현재의 비디오 모델은 시각적으로는 훌륭하지만 물리적 인과관계 이해는 여전히 부족하다. Luma는 물리 법칙, 시간적 일관성, 공간적 추론을 완벽히 통합한 '세계 모델'을 목표로 하고 있다. 이를 위해 2기가와트 규모의 AI 슈퍼클러스터인 'Project Halo'와 같은 대규모 인프라 투자를 병행하며 데이터의 물리적 스케일링 법칙을 탐구 중이다.
용어 해설
- 미분 가능한 3D(Differentiable 3D)
- — 3D 렌더링 과정을 수학적으로 미분 가능하게 설계하여 신경망 학습 루프에 통합하는 기술이다. 이를 통해 2D 이미지 데이터로부터 3D 구조를 역으로 추론하거나 최적화할 수 있으며, 고품질의 3D 에셋 생성을 가능하게 한다.
- 세계 모델(World Model)
- — 물리적 세계의 법칙, 인과관계, 시간적 흐름을 이해하고 시뮬레이션할 수 있는 AI 모델이다. 단순히 픽셀을 생성하는 것을 넘어 사물의 상호작용과 물리적 제약을 예측하여 자율 주행이나 로보틱스 분야의 핵심 지능으로 작용한다.
- 통합 트랜스포머(Unified Transformer)
- — 텍스트, 이미지, 비디오, 오디오 등 서로 다른 모달리티를 별도의 타워가 아닌 하나의 단일 신경망 아키텍처 내에서 처리하는 구조이다. 모든 데이터가 동일한 잠재 공간에서 상호작용하므로 모달리티 간의 깊은 이해와 복합적인 추론이 가능하다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 07.수집 2026. 05. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
