OmniLottie: 매개변수화된 로티(Lottie) 토큰을 통한 벡터 애니메이션 생성

OmniLottie는 멀티모달 지시어(multi-modal instructions)로부터 고품질 벡터 애니메이션(vector animations)을 생성하는 다재다능한 프레임워크입니다. 유연한 동작 및 시각적 콘텐츠 제어를 위해, 도형과 애니메이션 동작 표현을 모두 지원하는 경량 JSON 형식인 로티(Lottie)에 집중합니다. 그러나 가공되지 않은 로티 JSON 파일은 방대한 불변 구조 메타데이터와 포맷팅 토큰을 포함하고 있어, 벡터 애니메이션 생성 학습에 큰 어려움을 줍니다. 따라서 우리는 JSON 파일을 도형, 애니메이션 함수 및 제어 매개변수를 나타내는 구조화된 명령 및 매개변수 시퀀스로 변환하는 잘 설계된 로티 토크나이저(Lottie tokenizer)를 도입합니다. 이러한 토크나이저를 통해 사전 학습된 시각 언어 모델(Vision Language Models, VLM)을 기반으로 OmniLottie를 구축하여 멀티모달 인터리브 지시어(multi-modal interleaved instructions)를 따르고 고품질 벡터 애니메이션을 생성할 수 있습니다. 벡터 애니메이션 생성 연구를 더욱 발전시키기 위해, 텍스트 및 시각적 주석이 포함된 200만 개의 전문가용 벡터 애니메이션 대규모 데이터셋인 MMLottie-2M을 구축했습니다. 광범위한 실험을 통해 OmniLottie가 멀티모달 인간 지시어에 밀접하게 부합하며 생생하고 의미론적으로 정렬된 벡터 애니메이션을 생성할 수 있음을 입증했습니다.