TL;DR

Toonflow는 소설과 대본을 AI 기반으로 자동 구조화하고 분镜·캐릭터·영상 생성까지 연결하는 크로스플랫폼 데스크톱 애플리케이션으로, 챕터 이벤트 그래프와 삼층 에이전트 아키텍처를 통해 긴 원문에서 핵심 장면을 보존하면서 자동으로 단편 드라마 제작 파이프라인을 구성한다. 내부적으로는 ONNX 기반 로컬 임베딩과 벡터 검색으로 지속적 메모리를 유지하고 TypeScript로 작성 가능한 공급업체 플러그인으로 다양한 외부 모델을 즉시 연결하여 스크립트 생성에서 영상 출력까지의 작업을 자동화한다. 데모에서는 전체 제작에 약 2시간이 소요되며 비용 합계 약 ¥130이 보고되어 실험적 제작에서 비용·시간의 가시적 기준을 제공하지만, 실제 사용은 외부 모델 엔드포인트와 공급업체 설정에 의존하므로 초기 구성과 모델 비용 관리가 필요하다.

주요 기능

• 무한 캔버스 기반의 노드형 제작 인터페이스를 제공하며, 이 인터페이스에서 대본, 분镜,素材, 비디오 노드를 자유롭게 배치하고 병렬 작업을 조직할 수 있다. 사용자는 시간축에 얽매이지 않고 작업 흐름을 재배열하거나 이전 상태로 회귀할 수 있어 복잡한 프로젝트의 편집 반복을 줄일 수 있다. 이 구조는 대규모 에피소드 생산에서 병렬화된 작업 분배에 유리하다.
• 삼층 에이전트 협업 체계를 채택하여 결정 레이어가 작업을 분해하고 실행 레이어가 생성 작업을 수행하며 감독 레이어가 품질 검사 및 수정 피드백을 담당한다. 에이전트 간에 역할을 분담함으로써 생성의 일관성과 안정성이 확보되고 반복 검토 과정이 자동화된다. 감독 레이어는 생성 결과에 대한 규칙 기반 또는 모델 기반 검사를 적용하여 편집 부담을 줄인다.
• 로컬 ONNX 임베딩과 벡터 검색을 이용한 영구 메모리를 제공하며, 이 메모리는 단기 메시지, 장기 요약, 의미 기반 소환을 지원하여 멀티세션 제작의 연속성을 확보한다. 벡터 검색은 챕터 이벤트 그래프와 결합되어 긴 원문에서 핵심 장면을 정확히 찾아오도록 설계되었다. 이를 통해 원작의 문맥 손실을 줄이며 일관된 스토리 라인을 유지할 수 있다.
• 모델 공급업체 시스템이 TypeScript로 프로그래밍 가능하도록 설계되어 설정 화면에서 직접 공급업체 로직을 작성하고 즉시 반영할 수 있다. 이 방식은 코드베이스를 수정하거나 서비스 재시작 없이 다양한 모델과 API를 빠르게 교체할 수 있게 한다. 결과적으로 사설 모델 혹은 상용 API를 유연하게 혼합하여 사용 가능하다.
• Skill 파일로 에이전트의 핵심 프롬프트를 외부화하여 Markdown 편집으로 에이전트 행동을 튜닝할 수 있으며, 파일 단위로 관리되는 Skill은 실시간 조정과 버전 관리를 용이하게 한다. 이 설계는 프롬프트 실험과 반복 최적화를 개발 워크플로에 통합하는 것을 용이하게 만든다. Skill 외부화는 팀 단위의 협업과 반복적 실험에서 변경 추적을 단순화한다.

어떻게 동작하는가

Toonflow는 원작 텍스트를 챕터 단위 이벤트 그래프로 변환하여 구조화된 컨텍스트를 생성하고, 이 구조를 바탕으로 ScriptAgent가 스토리 골격과 구조화된 대본을 만든다. ProductionAgent는 분镜 노드와 소재 노드를 무한 캔버스 위에서 조합하며 외부 모델(API) 호출과 로컬 ONNX 임베딩-검색을 결합해 장면별 이미지·영상 생성과 편집을 수행한다. 모델 호출은 설정에서 공급업체 TypeScript 로직을 등록하여 즉시 반영되며, 에이전트의 기억은 로컬 벡터 스토어로 유지되어 다회차 제작의 연속성과 맥락 일관성을 확보한다.

해결 문제

원작 소설이나 긴 텍스트를 짧은 애니메이션 드라마로 전환할 때 발생하는 작업 분절과 문맥 손실 문제를 해결한다. Toonflow는 자동 챕터 이벤트 추출과 구조화된 스토리보드 생성을 통해 수작업으로 발생하는 반복적 편집과 맥락 재구성 비용을 줄인다. 또한 공급업체 플러그인과 로컬 ONNX 기반 메모리로 외부 모델 의존도와 비용을 조절하면서 대규모 콘텐츠를 일관성 있게 생산할 수 있게 한다.

지금 주목받는 이유

리포지토리는 데스크톱용 크로스플랫폼 배포와 다국어 README, 그리고 11,000개 이상의 스타를 통해 높은 관심을 받았으며 배포된 릴리스와 데모 영상으로 입문 장벽을 낮춘 점이 주목받는 이유이다. 추가로 AI 기반 텍스트→비디오 워크플로를 통합한 올인원 툴이라는 점이 단일 작업 흐름을 찾는 제작자 커뮤니티에서 화제가 되었다. 공식 문서에 포함된 데모·비용·모델 정보는 즉시 실행 가능한 구성이라는 인상을 주었다.

차별점

• 원문을 챕터 이벤트 그래프로 자동 구조화하여 긴 텍스트의 핵심 장면을 체계적으로 보존하는 파이프라인을 제공한다.
• 에이전트 행동을 Markdown 기반 Skill 파일로 외부화해 운영 중 프롬프트와 전략을 소스 코드 변경 없이 즉시 조정할 수 있다.
• 로컬 ONNX 임베딩과 벡터 검색을 결합한 지속적 메모리 구조로 멀티세션 제작에서 문맥 일관성을 유지한다.
• 모델 공급업체를 TypeScript로 프로그래밍할 수 있어 다양한 모델과 API를 소스 변경 없이 플러그인 방식으로 통합한다.

사용 사례

• 원작 소설을 빠르게 짧은 드라마 포맷으로 변환하여 소셜 숏폼 콘텐츠로 재생산하는 워크플로에 적용할 수 있다. 이 경우 챕터 이벤트 추출과 자동 분镜이 원작의 핵심을 보존하면서 편집 작업을 단축한다. 반복적인 에피소드 제작에서 생산성을 높이는 데 특히 유용하다.
• 작가나 제작자가 아이디어를 프로토타이핑하여 빠르게 스토리보드와 샘플 영상을 생성하고 피드백을 통해 구조를 개선하는 용도로 활용할 수 있다. ScriptAgent와 ProductionAgent의 협업을 통해 초기 기획부터 화면 구성까지의 반복 주기를 단축할 수 있다. 로컬 배포 옵션을 통해 개인정보나 민감한 IP를 외부로 유출하지 않고 실험할 수 있다.
• AI 기반 영상·이미지 모델을 결합한 자동화 파이프라인을 도입하려는 스튜디오나 교육용 실습 환경에서 파일 기반 Skill과 공급업체 플러그인으로 다양한 모델을 시험하고 비교하는 플랫폼으로 활용할 수 있다. Docker와 PM2 기반 배포 옵션이 제공되어 클라우드 혹은 온프레미스 환경에 통합하기 쉽다.

시작하기

데스크톱 설치 사용자는 릴리스 페이지에서 플랫폼별 설치 파일을 내려받아 실행하면 기본 제공된 내장 프런트엔드로 바로 시작할 수 있다. 개발자나 서버 배포 목적일 경우 GitHub에서 소스 코드를 클론한 후 yarn install로 의존성을 설치하고 yarn dev:gui로 Electron 데스크톱과 백엔드를 동시에 실행하거나 yarn dev로 백엔드만 실행할 수 있다. Docker로 배포하려면 레포트의 docker 예시 명령을 통해 로컬 이미지 빌드 및 포트 10588 매핑으로 서비스에 접속하면 된다.

요구사항

• 운영 환경은 Node.js 24.x 이상을 권장하며 최소 23.11.1+가 필요하다는 요구사항이 README에 명시되어 있다.
• 로컬 또는 외부 모델 호출을 위한 대형 언어 모델 서비스 엔드포인트와 비디오 생성 서비스(Sora 또는 유사 서비스), 이미지 생성 모델 서비스(Nano Banana Pro 등)가 사전 준비되어야 한다.
• Docker 기반 배포를 사용하려면 Docker 20.10 이상이 필요하며 클라우드 배포를 위한 서버는 Ubuntu 20.04+/CentOS 7+ 및 권장 메모리 2GB 이상을 충족해야 한다.

벤치마크