CanvasAgent: 시각 도구 오케스트레이션을 통한 복합 이미지 생성 및 편집

복합 이미지 생성과 편집은 단일 모델 호출로 해결할 수 없는 연쇄적인 국소 작업들(생성, 분할, 추출, 편집, 합성, OCR, 보강)을 요구한다. 본 연구는 각 단계에서 중간 결과를 검사하고 자산을 추적하며 다음 도구 호출을 동적으로 결정하는 실행 가능한 경로 학습을 통해 이러한 복잡한 워크플로를 자동화했다. 이 접근은 단일 모델 기반 편집이 놓치는 상태 유지와 도구 간 의존성 문제를 직접 다루어 실무적 편집·합성 작업의 자동화 가능성을 크게 확장했다.

복합 이미지 편집은 여러 단계의 도구 호출을 통한 상태 전이가 핵심이다. 기존의 단일 호출 기반 생성·편집 방식은 중간 산출물을 명시적으로 관리하지 않아 후속 작업이 필요할 때 상태 불일치가 발생했다. 따라서 본 연구는 중간 자산을 명시적으로 식별하고 참조하는 실행 가능한 트레이스(executable trajectory)를 학습 대상으로 삼았다. SFT 단계는 전문가가 만든 트레이스를 통해 합법적 도구 호출 형식, 인자 스키마, 자산 참조 관행을 모델에 각인시킨다. 이로 인해 모델은 도구 이름과 구조화된 파라미터를 안정적으로 생성할 수 있게 되었으며, 이후 강화학습 단계에서의 탐색이 불법 호출로 인한 실패에 덜 민감해진다. 그러나 SFT만으로는 장기적 도구 조합이나 더 나은 순서 탐색을 발견하기 어렵다. 강화학습 단계에서는 GRPO를 사용해 같은 과제에서 다수의 롤아웃을 비교하고 상대적 보상으로 정책을 갱신한다. 하이브리드 보상은 결과 기반 점수와 과정 기반 점수를 동시에 반영해, 단순히 많은 도구를 호출하는 정책이 아닌 목표 달성과 과정 유효성을 모두 만족하는 정책을 선호한다. 이 조합은 롤아웃 동안 중간 관찰을 이용해 계획을 수정하고, 불필요한 호출을 줄이며 필요한 도구를 적시에 사용하는 행동을 유도한다. 결과적으로 도구 오케스트레이션 관점에서 핵심 직관은 무엇보다 '시각 상태의 명시적 추적'과 '과정 기반 검증'이다. 중간 산출물을 자산으로 관리하면 후속 도구가 정확한 입력을 참조할 수 있고, 규칙적 실행 검사와 LLM 판정의 결합 보상은 정책이 실행가능성·미학·정렬성 사이의 절충을 학습하도록 만든다. 이는 복합 편집 과제를 단일 블랙박스 호출로 해결하려던 기존 접근과 본질적으로 다른 작업 정의를 제시한다.

데이터 구성은 도구 체인 템플릿 설계, 적합 이미지 샘플링, 역공학을 통한 사용자 지시문 생성, 실제 도구 실행 및 품질 검증의 파이프라인으로 이루어졌다. CanvasCraft-SFT는 각 단계별 추론(reason), 도구 호출(tool_call), 구조화된 파라미터, 중간 자산, 최종 이미지를 포함하는 완전 주석 트레이스를 제공해 지도학습 초기화를 가능하게 했다. CanvasCraft-RL은 기대 도구 집합과 난이도(R/L/D)를 주어 에이전트가 다양한 도구 순서와 파라미터를 탐색하도록 설계되었다. 학습 프레임워크는 두 단계로 구성되었다. 첫 단계 SFT는 CanvasCraft-SFT로 다음 토큰 예측을 수행해 합법적 호출 포맷과 자산 참조 규칙을 학습시켰다. 두 번째 단계에서는 GRPO(Group Relative Policy Optimization)를 사용해 CanvasCraft-RL 상에서 여러 롤아웃의 상대 보상에 따라 정책을 업데이트함으로써 장기 계획 능력과 도구 선택 전략을 향상시켰다. 도구 스택은 11개로 통합되었으며 각 도구는 구조화된 입력·출력을 가진 JSON 스타일 스키마로 구현되었다. 주요 도구에는 Generation(FLUX.2-Klein-4B), Edit(FLUX 기반), Grounding(Grounding-DINO), Segmentation(SAM), Extract(Python script), Overlay, Crop, OCR(Paddle-OCR), Rotate, Flip, SR(Real-ESRGAN) 등이 포함되었다. 도구별로 요구 인자와 출력 타입이 정의되어 있어 포맷 보상과 실행 보상이 정확히 검증될 수 있었다. 보상 설계는 결과 기반 점수(R_align, R_aes)와 과정 기반 점수(R_traj, R_rule)를 가중합하는 하이브리드 구조를 채택했다. R_rule은 포맷 보상, 액션 유효성, 효율성 패널티로 세분화되어 각 호출의 이름·스키마·자산 참조·사양 적합성·실행 성공을 점수화한다. 효율성 패널티는 실패, 반복 호출, 과도한 길이, 비용 기준 초과, 기대 도구 누락을 각 항목으로 penalize해 불필요한 호출을 억제했다.

주요 비교군으로는 SFT만 학습된 변종, SFT+GRPO로 학습된 CanvasAgent, 일반 MLLM에 도구를 장착한 모델들이 평가되었다. CanvasAgent(SFT+RL)는 전체 하이브리드 보상에서 0.821을 획득해 SFT 전용(0.557)과 미학·정렬성·트레이젝토리 점수에서 유의한 상승을 보였다. 평균 도구 호출 수는 SFT만 1.320에서 SFT+RL에서 5.436으로 증가해 RL이 더 풍부한 다단계 조작을 유도했음이 확인되었다. 어블레이션에서 SFT+RL 조합이 최적 성능을 냈고 보상 구성 요소의 역할이 분명히 드러났다. 결과 신호를 제거하면 정렬성과 미학이 하락하고 과정 점수는 유지되는 반면, 과정 신호를 제거하면 트레이젝토리 점수가 급감해 실행 가능성 기반 규칙의 중요성이 확인되었다. RL 단독 학습은 SFT 초기화 없이 불안정한 탐색으로 정렬성·미학 점수가 낮아 SFT 기반 초기화의 필요성이 실험적으로 입증되었다. 사람 평가에서는 제한된 샘플(12개)에서 CanvasAgent가 다른 모델보다 Task Alignment, Key Details Alignment, Aesthetic Quality에서 높은 평균 점수를 얻었다. 자동 판정(LLM-as-judge)과 사람 평가가 일관된 경향을 보였고 이는 LLM 판정자와 규칙 검증을 결합한 보상 설계가 인간 지각과 부분적으로 정렬된다는 근거를 제공했다. 단 정량적 결과는 논문에 제시된 평가셋과 메트릭에 한정되므로 다른 환경 일반화는 추가 검증이 필요하다.

전체 아키텍처는 기반 멀티모달 LLM(Qwen3-VL-8B-Instruct 기준)을 도구 인터페이스로 확장한 형태이다. 모델 출력은 자유 텍스트와 JSON-형식의 <tool_call> 블록을 포함할 수 있으며, 각 도구 호출은 명시적 인자와 자산 레퍼런스를 포함해 외부 도구 런타임에서 실행 가능하도록 설계되었다. 실행 성공 시 생성된 산출물은 자산 집합에 추가되어 이후 단계의 입력으로 사용된다. 핵심 메커니즘은 SFT로 획득한 합법적 호출 포맷과 GRPO 기반 정책 최적화의 결합이다. SFT는 CanvasCraft-SFT의 140K 트레이스를 통해 포맷 보상과 초기 행동 분포를 확보했고 GRPO는 CanvasCraft-RL의 10K 과제를 사용해 여러 롤아웃의 상대 보상으로 정책을 갱신했다. GRPO는 추가 가치 모델 없이 그룹 내 상대 보상으로 안정적 업데이트를 제공하도록 설계되었다. 하이브리드 보상 수식은 다음과 같다: R(τ)=0.3·R_align(τ)+0.1·R_aes(τ)+0.2·R_traj(τ)+0.4·R_rule(τ). 여기서 R_align과 R_aes는 LLM 판정자로부터의 결과 점수이며 R_traj는 트레이스의 합리성을 평가하는 판정자 점수이다. R_rule은 포맷(R_format)·액션 유효성(R_action)·효율성 패널티(λ_eff·P_eff)를 결합하며, R_action은 N개의 호출에 대해 각 호출의 이름 유효성, 인자 스키마 충족, 자산 레퍼런스 유효성, 도구별 사양 확인, 실행 성공 여부를 가중합한 쿼션으로 정의된다. 수식 해석 예시는 다음과 같다: 단일 트레이스 τ에서 각 호출의 유효성 q_i는 이름·스키마·참조·사양·실행의 다섯 항목으로 구성되며 이들의 가중합이 R_action의 항목별 평균을 결정한다. 효율성 패널티 P_eff는 실패·반복·길이·비용·누락 항목을 합산해 과도한 호출을 감점한다. 이 구조는 입력(트레이스)→검사(포맷·실행·판정)→보상(가중합)을 명확히 분리해 정책이 실행 가능성과 결과 품질을 동시에 최적화하도록 유도한다. 구현 및 학습 세부사항으로는 8대의 NVIDIA A800 GPU에서 7일간 학습을 수행했으며 도구 실행은 별도 GPU에서 호스팅해 실제 도구 환경에서 롤아웃이 가능하도록 구성했다. 기반 모델은 Qwen3-VL-8B-Instruct이며 LLM-as-judge는 Qwen3.5-Plus를 사용했다. 도구 백엔드는 각 도구별로 FLUX.2-Klein-4B, Grounding-DINO, SAM, Paddle-OCR, Real-ESRGAN 등 실제 모델·스크립트를 연결해 실행 가능성을 확보했다.

논문에서 명시한 한계로는 고정된 11개 도구 집합에 의존한다는 점이 있다. 또한 보상 설계에서 외부 MLLM 판정자(Qwen3.5-Plus)에 의존해 판정자의 편향이 학습에 영향을 줄 가능성이 존재한다. 마지막으로 RL 롤아웃에 실제 도구 실행이 필요해 계산 비용과 배포 복잡도가 증가하며 확장성과 실시간 적용성에서 제약이 따른다.