게임 개발 아키텍처를 활용한 ComfyUI 프롬프트 드리프트 해결 방안

커뮤니티 반응

작성자의 새로운 접근 방식에 대해 흥미롭다는 반응이 있으며, 기존의 와일드카드 방식과 비교하는 논의가 예상된다.

주요 논점

01찬성다수

LLM의 비결정론적 특성을 정형 데이터베이스로 보완하여 일관성을 확보해야 한다.

합의점 vs 논쟁점

합의점

LLM의 컨텍스트 윈도우 한계가 장기 서사 생성의 주요 병목이다.
정형화된 데이터 구조가 텍스트 기반 프롬프트보다 상태 유지에 유리하다.

논쟁점

전통적인 SQL 데이터베이스를 워크플로우에 직접 연결하는 방식의 복잡성과 학습 곡선에 대한 우려가 있다.

실용적 조언

LLM에게 장면 묘사를 전적으로 맡기기보다 Postgres 같은 DB에 상태값을 저장하고 스크립트로 프롬프트를 조립할 것
상태 변화에 따라 특정 LoRA 가중치를 자동으로 조절하는 로직을 파이프라인에 포함할 것

섹션별 상세

작성자는 LLM을 활용한 프롬프트 생성 시 컨텍스트 윈도우 한계로 인해 캐릭터의 복장이나 날씨가 무작위로 변하는 '프롬프트 드리프트' 문제를 제기했다. LLM이 이전 대화 내용을 망각하거나 환각을 일으켜 중세 기사가 현대식 손전등을 들고 있는 등의 오류가 발생한다. 이는 장기적인 서사 구조를 가진 이미지 생성 프로젝트에서 심각한 일관성 저해 요인이 된다. 데이터의 영속성을 LLM의 메모리에만 의존하는 방식의 한계를 지적한 것이다.

해결책으로 AI 시뮬레이션 게임 'Altworld'의 아키텍처를 차용하여 LLM 대신 정형화된 데이터베이스에 장면 상태를 저장하는 방식을 제안했다. Postgres나 JSON 블롭을 사용하여 캐릭터 상태, 날씨, 장소 등의 정보를 '정전적 실행 상태(Canonical Run State)'로 관리한다. 모든 이벤트는 명시적인 시뮬레이션 단계를 거쳐 이 상태값을 변경하며, 텍스트 생성은 데이터 변경이 완료된 후에만 이루어진다. 텍스트가 상태를 결정하는 것이 아니라, 구조화된 데이터가 텍스트를 결정하는 '상태 우선' 구조이다.

구체적인 워크플로우는 로컬 데이터베이스가 '단일 진실 공급원(Single Source of Truth)' 역할을 수행하고 Python 스크립트가 이를 읽어 프롬프트를 구성하는 형태이다. 스크립트는 DB의 플래그에 따라 특정 LoRA를 호출하거나 positive_prompt 문자열을 엄격하게 포맷팅하여 ComfyUI API로 전달한다. 이 과정에서 LLM은 정해진 데이터 범위를 벗어난 환각을 일으킬 수 없도록 물리적으로 차단된다. 실제 구현 시 데이터베이스의 무결성이 이미지의 시각적 일관성을 보장하는 핵심 기제로 작동한다.

용어 해설

프롬프트 드리프트(Prompt Drift): — 긴 서사 진행 중 LLM이 이전 맥락을 잃거나 변형하여 이미지의 시각적 일관성이 깨지는 현상이다. 캐릭터의 복장이나 주변 환경이 의도치 않게 변하는 문제를 포함한다.
컨텍스트 윈도우(Context Window): — 모델이 한 번에 처리할 수 있는 텍스트 정보의 양을 의미한다. 이 한계를 초과하면 모델은 이전의 중요한 설정이나 맥락을 망각하게 된다.
환각 현상(Hallucination): — AI 모델이 학습 데이터에 없거나 논리적으로 어긋나는 허위 정보를 사실인 것처럼 생성하는 문제이다. 이미지 생성에서는 시대에 맞지 않는 물건이 등장하는 등의 오류로 나타난다.
정전적 실행 상태(Canonical Run State): — 시스템이나 게임의 현재 상황을 정의하는 유일하고 정확한 데이터 상태를 의미한다. 텍스트 묘사보다 우선하는 구조화된 데이터의 집합이다.

언급된 도구

ComfyUI추천

노드 기반 Stable Diffusion 인터페이스 및 API 서버

Postgres추천

장면 상태 및 캐릭터 데이터를 저장하는 정형 데이터베이스

Altworld추천링크

상태 기반 아키텍처의 영감을 준 AI 시뮬레이션 게임

언급된 리소스

DemoAltworld