자연어로 ComfyUI 배치 작업을 제어하는 AI 에이전트 도구 공개

실용적 조언

ComfyUI 실행 시 --listen 플래그를 활성화해야 에이전트와 통신이 가능하다.
OpenClaw가 로컬에서 실행 중이어야 하며 에이전트 스킬을 설치해야 한다.

섹션별 상세

자연어 명령을 통한 ComfyUI 제어 인터페이스를 구현했다. OpenClaw 에이전트가 사용자의 일상 언어 요청을 해석하여 내부적으로 워크플로를 구성한다. 별도의 노드 연결이나 파이썬 스크립트 작성 없이 '시드 50개 변형 생성'과 같은 명령 수행이 가능하다. 이는 복잡한 워크플로 구축 시간을 단축하고 비전문가의 접근성을 높인다.

HTTP API를 활용한 로컬 자동화 메커니즘을 적용했다. 에이전트가 입력값(프롬프트, 해상도, 단계 등)을 바탕으로 ComfyUI 호환 JSON 워크플로를 생성한 후 로컬 인스턴스에 POST 요청을 보낸다. 렌더링이 완료될 때까지 상태를 폴링(Polling)하여 결과를 확인하는 방식으로 작동한다. 로컬 환경에서 모든 처리가 이루어지므로 데이터 프라이버시가 유지된다.

다양한 배치 작업 및 비교 기능을 지원한다. 사용자는 여러 프롬프트를 특정 해상도별로 비교하거나 캐릭터 시트를 이름별로 라벨링하여 렌더링하도록 명령할 수 있다. SD 및 Flux 체크포인트와 호환되며 기존에 로드된 모델을 그대로 활용한다. 반복적인 실험 과정을 자동화하여 모델 튜닝 및 프롬프트 엔지니어링 효율을 극대화한다.

용어 해설

컴피UI(ComfyUI): — Stable Diffusion을 위한 노드 기반의 그래픽 사용자 인터페이스(GUI)이다. 사용자가 이미지 생성 과정을 시각적인 노드 연결로 설계할 수 있게 해주며, 복잡한 워크플로 커스터마이징에 매우 유용하다.
에이전트(Agent): — 사용자의 목표를 달성하기 위해 자율적으로 판단하고 도구를 사용하여 작업을 수행하는 AI 시스템이다. 이 아티클에서는 자연어 명령을 받아 ComfyUI 워크플로를 생성하고 실행하는 역할을 한다.
시드 스윕(Seed Sweep): — 동일한 프롬프트 조건에서 시드(Seed) 값만 변경하며 여러 이미지를 생성하여 결과물의 다양성을 확인하는 실험 기법이다. 모델의 출력 범위를 파악하고 최적의 결과물을 찾는 데 필수적인 과정이다.
HTTP API: — 애플리케이션 간에 데이터를 주고받기 위한 통신 규약이다. 이 도구는 에이전트가 생성한 워크플로 JSON 데이터를 로컬 ComfyUI 서버에 전송하고 실행 명령을 내리는 통로로 사용된다.

언급된 도구

OpenClaw추천

AI 에이전트 프레임워크 및 스킬 실행 환경

ComfyUI추천

노드 기반 Stable Diffusion GUI 및 렌더링 엔진