이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LemonSlice는 실시간 영상 통화에서 인간과 구별할 수 없는 아바타를 구현하기 위해 월드 모델을 활용한다. 장시간 생성 시 발생하는 오류 누적 문제를 학습 단계의 어텐션 마스크와 디노이징 단계 최적화로 해결하여 실시간성을 확보했다. 또한, 오디오 인코더의 표현력 한계를 극복하고 GPU와 CPU 간 데이터 흐름을 관리하는 모델 하네스를 통해 비용 효율성을 음성 모델 수준으로 높였다. 향후 감정 엔진과 엔드투엔드 EQ 레이어를 통해 대화 맥락에 맞는 자연스러운 감정 반응을 구현할 계획이다.
챕터별 상세
아바타 튜링 테스트 도전
영상 통화에서 인간과 구별할 수 없는 아바타를 구현하여 튜링 테스트를 통과하는 것이 목표이다. 실시간 아바타는 미래 프레임을 볼 수 없어 과거 프레임의 오류가 누적되는 문제가 발생한다. LemonSlice는 학습 시 어텐션 마스크를 적용하여 이 문제를 해결하고, 디노이징 단계를 1단계로 줄여 실시간성을 확보했다.
테디 루즈벨트 아바타 데모
마이크로소프트와 협력하여 테디 루즈벨트 아바타를 구현하고, 복제된 오벌 오피스에서 실시간 상호작용을 시연했다. 이 데모는 아바타가 단순한 정지 화면이 아니라 실시간으로 대화하고 반응할 수 있음을 보여준다.
시각 레이어의 중요성
인간은 시각적 요소가 포함될 때 정보를 더 잘 이해하고 집중하므로, AI와 인간의 상호작용에는 시각적 레이어가 필수적이다. 음성만으로는 대화의 몰입감을 유지하기 어렵기 때문에 시각적 피드백이 중요하다.
인간 중심의 월드 모델
인간의 움직임, 물체 상호작용, 물리 법칙을 학습한 월드 모델을 아바타에 적용하여 자연스러운 동작을 구현한다. 이는 초기 학습 비용이 높지만, 결과적으로 물리적 상호작용을 더 정확하게 표현할 수 있다.
표현력을 결정하는 오디오
기존 오디오 인코더는 단조로운 오디오북 데이터로 학습되어 감정 표현이 부족하므로, 아바타의 표현력을 위해 별도의 오디오 모델이 필요하다. 감정과 표정은 오디오 임베딩에 의존하므로 고품질 오디오 데이터가 중요하다.
실시간 상호작용 구현
비디오 생성 모델의 디노이징 단계를 1단계로 줄여 실시간성을 확보하고, 상호작용을 가능하게 한다. 실시간 영상 생성은 연산 효율성이 핵심이다.
장시간 생성 시 오류 누적
비디오 생성 모델은 미래 프레임을 볼 수 없어 과거 프레임의 오류가 누적되는데, 이를 해결하기 위해 학습 시 어텐션 마스크를 적용한다. 8시간 이상의 연속 생성에서도 오류가 누적되지 않는 것이 기술적 핵심이다.
비용 효율성
픽셀 데이터의 양에도 불구하고, 최적화를 통해 아바타 생성 비용을 음성 모델 수준으로 낮췄다. 이는 소비자용 애플리케이션에 적용 가능한 수준의 비용이다.
모델 하네스의 역할
GPU와 CPU 간의 스레드와 큐를 관리하여 영상 끊김을 방지하는 모델 하네스가 시스템의 핵심 가치이다. 인터럽트 발생 시에도 영상이 매끄럽게 재생되도록 오케스트레이션한다.
감정 엔진 개발
대화 맥락에 맞춰 적절한 감정과 동작을 실시간으로 생성하는 감정 엔진을 개발 중이다. 현재 아바타는 감정적 반응이 부족하여 어색함이 느껴지는데, 이를 개선하기 위해 대화 맥락을 이해하고 반응하는 엔진이 필요하다.
엔드투엔드 EQ 레이어
오디오와 비디오를 입력받아 감정 상태를 반영한 아바타를 생성하는 단일 엔드투엔드 모델을 지향한다. EQ 레이어는 지능형 모델과 결합하여 마법 같은 상호작용을 가능하게 한다.
Q&A 및 향후 계획
내부 상태 추적 및 튜링 테스트 검증 방식에 대해 논의한다. 올해 내로 자체적인 튜링 테스트를 진행하고 결과를 공개할 계획이다.
용어 해설
- 월드 모델(World Model)
- — 물리적 세계의 법칙과 객체 간의 상호작용을 학습하여 미래 상태를 예측하는 모델이다. 아바타 생성에 적용할 경우, 인간의 움직임과 물리적 상호작용을 자연스럽게 구현하는 기반이 된다.
- 디노이징 단계(Denoising Steps)
- — 확산 모델(Diffusion Model)에서 노이즈로부터 데이터를 복원하는 과정의 반복 횟수이다. 실시간 영상 생성을 위해 이 단계를 1단계로 압축하여 연산 속도를 획기적으로 높였다.
- 어텐션 마스크(Attention Mask)
- — 트랜스포머 모델에서 특정 정보에 대한 접근을 차단하는 기법이다. 아바타 생성 시 미래 프레임의 정보를 참조하지 못하게 하여 오류 누적을 방지하고 학습의 일관성을 유지한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 19.수집 2026. 08. 19.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
