애니메이터와 AI 연구진이 단편 영화 'Dear Upstairs Neighbors'를 제작한 방법

섹션별 상세

캐릭터 디자인과 회화적 스타일의 일관성을 유지하기 위해 연구진은 아티스트의 컨셉 아트를 기반으로 Veo와 Imagen 모델을 파인튜닝했다. 이를 통해 모델은 단순한 색상이나 질감을 넘어 2D 실루엣 유지와 같은 깊은 예술적 개념을 학습했다. 3D 모델링으로는 구현하기 어려운 독특한 시각적 스타일을 생성하는 데 성공했다. 아티스트의 비전을 모델이 정확히 이해하도록 유도하여 제작 전반의 시각적 통일성을 부여했다.

텍스트 프롬프트만으로는 달성하기 어려운 미세한 동작과 코믹한 타이밍을 제어하기 위해 비디오 투 비디오 기법을 사용했다. 애니메이터가 Maya나 TV Paint 같은 기존 도구로 제작한 거친 애니메이션을 입력값으로 제공했다. AI 모델은 이 가이드를 바탕으로 스타일이 입혀진 최종 영상을 생성하여 아티스트의 의도를 정확하게 반영했다. 이 방식은 아티스트가 익숙한 도구를 그대로 사용하면서 AI의 생성 능력을 빌려올 수 있게 했다.

단 한 번의 생성으로 결과물을 완성하는 대신, 특정 영역만 수정할 수 있는 국소적 정밀화 도구를 개발하여 활용했다. 예를 들어 캐릭터의 머리카락 실루엣을 개선하기 위해 마스크를 씌우고 해당 부분만 AI가 즉흥적으로 보완하게 했다. 전체 샷을 다시 생성하지 않고도 디테일의 완성도를 높이는 반복적 수정 프로세스를 구축했다. 이는 전통적인 영화 제작의 '데일리' 리뷰 및 피드백 루프와 유사한 워크플로우를 가능케 했다.

영화제 상영을 위해 Veo의 업스케일링 모델을 사용하여 최종 결과물을 4K 해상도로 변환했다. 단순히 해상도만 높이는 것이 아니라, 아티스트의 피드백을 반영하여 고유의 예술적 스타일과 뉘앙스를 보존했다. 풍부한 디테일을 추가하도록 모델의 동작을 정밀하게 조정하여 대형 스크린에 적합한 품질을 확보했다. 이 기술은 향후 Google AI Studio와 Vertex AI를 통해 일반 사용자에게도 제공될 예정이다.

용어 해설

비디오 투 비디오(Video-to-Video): — 입력 영상의 모션과 구조를 가이드로 삼아 새로운 스타일이나 객체로 변환하는 생성 기법이다. 텍스트만으로는 조절하기 힘든 물리적 움직임이나 구도를 정밀하게 제어할 수 있어 전문 영상 제작에서 핵심적인 역할을 수행하며 아티스트의 의도를 정확히 반영하는 데 필수적이다.
파인튜닝(Fine-tuning): — 이미 학습된 대규모 모델에 특정 목적의 소규모 데이터를 추가로 학습시켜 성능을 최적화하는 기법이다. 이 프로젝트에서는 아티스트의 고유한 화풍과 캐릭터 디자인을 모델에 이식하여 시각적 일관성을 확보하고 모델이 특정 예술적 개념을 이해하도록 만드는 데 사용됐다.
업스케일링(Upscaling): — 저해상도 영상을 고해상도로 변환하면서 AI가 누락된 디테일을 자연스럽게 생성해 채워넣는 기술이다. 단순히 픽셀을 늘리는 전통적 방식과 달리 원본의 질감과 스타일을 유지하며 4K 수준의 고화질 결과물을 얻을 수 있어 대형 스크린 상영을 위한 필수 공정이다.
이미지 투 비디오(Image-to-Video): — 정지된 이미지 한 장을 입력받아 자연스러운 움직임이 포함된 비디오로 생성하는 기술이다. 컨셉 아트의 분위기를 유지하면서 생동감 있는 애니메이션 초안을 빠르게 생성하거나 특정 정지 장면에서 시작하는 연속적인 동작을 구현하는 데 유용하게 활용된다.

기술

Veo
Imagen
Maya
TV Paint
ComfyUI
Google AI Studio
Vertex AI

활용 사례

단편 영화 제작
캐릭터 애니메이션 스타일 변환
고해상도 영상 업스케일링
정밀한 동작 제어

언급된 리소스

API DocsGoogle AI Studio

문서Vertex AI