ReDesign: 이미지로부터 편집 가능한 디자인 구조를 복원하는 에이전틱 분해 프레임워크이다. 이 논문은 레이어 계층을 점진적으로 확장하는 VLM 기반 컨트롤러

디자이너 워크플로에서는 스크린샷이나 래스터 내보내기로만 존재하는 자산을 편집 가능한 형식으로 되돌리는 과정이 반복 작업의 병목이다. ReDesign은 편집에 필요한 텍스트, 벡터 경로, 레이어 순서 등의 멀티모달 속성을 복원하고, 노드 수준의 검증을 통해 도구 오류가 트리 전체로 번지는 것을 막음으로써 실제 편집 작업을 자동화 가능한 형태로 확보한다. 따라서 단순한 시각적 재현 대신 재생 가능한 편집 동작을 보장하여 실무 편집 비용을 낮출 수 있음이 확인됐다.

디자인 편집 파일은 텍스트, 벡터, 색상, 그룹, z-order 같은 명확한 객체와 속성을 가진 레이어 계층으로 표현되며, 래스터화는 이러한 계층을 픽셀로 합성하는 many-to-one 매핑이므로 역문제는 불안정하다. ReDesign은 이 불안정성을 완화하기 위해 루트에서 시작해 노드별로 적절한 도구 체인을 선택하여 지역적으로 분해하고, 각 분해를 로컬 검증으로 확인해 잘못된 분기가 더 깊게 쌓이는 것을 방지한다. 입력→프로세스→출력 관점에서, 입력 래스터 이미지는 VLM 컨트롤러의 노드 선택과 도구 호출(예: OCR→텍스트 분할→인페인팅, 레이어 분해, 검출+SAM 분할, 벡터화)을 통해 부분 트리로 변환되고, 검증 결과에 따라 수용·가지치기·재시도가 반복되어 최종적으로 편집 가능한 JSON 계층을 출력한다.

시스템은 고정된 액션 집합(action space)을 정의하고 각 액션이 OCR, 레이어 분해, 연결 컴포넌트 분리, 검출·분할, 벡터화 등 도구 체인을 캡슐화하도록 구성되었다. 컨트롤러는 각 단말 노드의 부분 렌더링과 해당 노드의 선형 이력(lineal memory)을 입력으로 받아 다음 액션을 선택하고 도구를 실행해 자식 노드를 생성한다. 각 부모→자식 제안에는 검증기를 적용하여 자식들의 합집합이 부모를 설명하는지와 자식이 부모를 넘어서는지를 검사하고, 실패 시에는 prune 또는 retry 신호를 주어 로컬 수리를 수행하도록 시스템이 재설정되게 했다. 노드별 선형 메모리는 각 확장의 입력·출력·하이퍼파라미터·검증 결과를 저장해 이후 재시도에서 재활용하고 실패 구성을 피하도록 하였다.

Figma 데이터셋과 Crello 데이터셋 모두에서 ReDesign은 객체 수준 L1, PSNR, LPIPS, PQ, F1 등 표준 재구성 지표에서 경쟁력을 보였고, 특히 레이아웃(PQ)과 편집 재현성(편집 재생 SSIM, 텍스트 리콜)에서 가장 높은 성능을 기록했다. 편집 재생(protocol) 결과는 총 14,796개의 제어된 편집에 대해 ReDesign이 색상·불투명도·재배치·텍스트 편집 등에서 모든 편집 유형에 대해 최고의 SSIM을 달성했음을 나타냈다. 또한 노드 단위 검증은 종단 검증보다 더 낮은 도구 호출 수와 높은 PSNR을 동반하여 비용-정확도 관점에서 우수함이 확인됐다.

액션 스페이스는 텍스트 추출(OCR → hisam 기반 세분화 → lama 인페인팅), 멀티-레이어 분해(Qwen-Image-Layered), 연결 컴포넌트 레이블링, 검출+SAM 기반 분할(gdino로 탐지 후 SAM으로 분할), 벡터화(VTracer)와 글꼴 인식(WhatFont API) 같은 전용 도구 체인으로 구성되었다. 컨트롤러는 VLM(gemini-3-flash 등)을 사용해 각 노드의 부분 이미지와 선형 메모리를 토대로 다음 액션과 하이퍼파라미터를 선택하고 비동기 병렬로 여러 리프 노드를 확장할 수 있게 설계되었다. 그레이스풀 검증기는 자식 마스크의 합집합과 부모 마스크의 포함관계, 중복·허상 여부를 계산하고 prune/retry/succeed 신호를 반환하며 실패 원인은 선형 메모리에 기록되어 향후 재시도에서 하이퍼파라미터 조정에 활용된다.

ReDesign은 Figma와 Crello의 레이어 분해 기준과 항상 하나 대 하나로 정렬되지 않을 수 있으며, 렌더링이 정확해도 분해 그레인(granularity)이 원본과 다를 수 있다. 사진처럼 복잡한 텍스처를 벡터 경로로 억지로 표현하면 편집성이 떨어질 수 있어 벡터화 적용 여부는 선택적으로 수행되며 이 선택이 완벽하지 않을 수 있다. 또한 시스템은 외부 도구들의 한계(예: OCR 오류, SAM 분할 실패)에 의존하므로 도구별 도메인 갭이 성능 저하로 이어지는 경우가 관찰되었다.