VectorGym: SVG 코드 생성, 스케치 및 편집을 위한 멀티태스크 벤치마크

기존 SVG 생성 연구는 단순한 도형이나 합성 데이터에 의존해 실제 디자인 워크플로우를 반영하지 못했다. 이 논문은 전문가가 직접 작성한 고난도 데이터셋과 강화학습 기법을 통해, 작은 모델로도 복잡한 벡터 그래픽 편집과 생성을 가능하게 하는 새로운 표준을 제시했다.

SVG는 픽셀의 집합이 아니라 좌표와 명령어로 이루어진 '설계도'이다. 기존 AI는 그림은 잘 이해해도 이 복잡한 설계도를 코드로 짜는 데는 서툴렀다. 이 연구는 모델에게 '직접 그려보고 피드백을 받는' 강화학습 과정을 도입했다. 모델이 코드를 짜면 이를 실제로 화면에 그려보고, 정답과 얼마나 닮았는지 점수를 매겨 보상으로 준다. 특히 여러 번 시도한 결과 중 상대적으로 더 잘 그린 것에 더 큰 보상을 주는 GRPO 기법을 통해 모델이 스스로 최적의 코딩 방식을 찾게 했다. 또한 쉬운 도형부터 시작해 점진적으로 복잡한 일러스트를 배우는 커리큘럼 학습을 적용하여 학습의 효율성을 극대화했다.

데이터셋은 GitHub의 SVG-Stack에서 추출한 7,000개의 실제 데이터를 기반으로 전문가들이 스케치, 편집 지시문, 캡션을 직접 작성하여 구성했다. 학습에는 Qwen3-VL 8B 모델을 베이스로 GRPO(Group Relative Policy Optimization) 강화학습을 적용했다. 모델이 하나의 프롬프트에 대해 8개의 응답을 생성하면, 각 응답의 보상에서 그룹 평균을 빼고 표준편차로 나누어 정규화된 Advantage를 계산한다. [8개 응답의 보상 r_k → (r_k - mean)/std 연산 → Advantage A_k 산출 → 정책 업데이트]. 보상 함수는 생성된 코드를 렌더링한 이미지와 정답 이미지 사이의 MSE, LPIPS, DINO 점수를 조합하여 시각적 정확도를 측정하도록 설계했다. 또한 응답 길이를 난이도 지표로 삼아 짧은 데이터부터 긴 데이터 순으로 학습하는 커리큘럼 전략을 사용했다.

Qwen3-VL 8B Gym 모델은 종합 점수 66.05를 기록하며, 파라미터가 30배 더 많은 Qwen3-VL 235B(62.32)를 능가하고 GPT-4o(64.93)와 대등한 성능을 보였다. 특히 스케치-to-SVG 작업에서 70.72점을 기록하며 베이스 모델(64.82) 대비 성능이 크게 향상되었다. SVG 편집 작업에서는 Gemini 3 Pro가 88.71점으로 1위를 차지했으며, 제안된 8B 모델은 82.81점으로 GPT-4o(82.35)를 근소하게 앞섰다. VLM-as-a-Judge 지표는 인간 평가와 최대 0.81의 상관관계를 보여, 기존의 픽셀 기반 지표보다 디자인 품질을 더 정확하게 반영함이 확인됐다.

Qwen3-VL 8B Instruct 모델을 기반으로 비전 인코더와 언어 모델이 통합된 멀티모달 아키텍처를 활용한다. 학습은 8개의 H200 GPU 환경에서 600 이터레이션 동안 진행되었으며, 배치 사이즈 168과 롤아웃 8개를 설정했다. 보상 체계는 시각적 재현이 중요한 작업에는 렌더링 기반 보상을, 의미적 이해가 중요한 작업에는 VLM 기반 채점(VLMAJ) 및 임베딩 유사도 보상을 적용하는 이원화 전략을 취한다. 특히 편집 작업에서는 CLIP이 지시문 이행 여부를 잘 포착하지 못하는 한계를 극복하기 위해 VLMAJ 보상에 전적으로 의존한다. 구현 시 배치 레벨의 표준편차를 사용하는 변형된 GRPO 방식을 도입하여 멀티태스크 학습의 안정성을 확보했다.

모델이 여전히 여러 단계가 섞인 복잡한 편집 지시를 완벽하게 수행하는 데는 한계가 있다. 또한 SVG 캡셔닝 작업에서 세부적인 디자인 요소를 놓치거나 VLM 판사가 선호하는 특정 응답 형식을 맞추지 못하는 경우가 발생한다.