멀티태스크 멀티리워드 강화학습을 통한 SVG-LLM의 신뢰할 수 있는 추론

기존 AI는 복잡한 벡터 그래픽(SVG)을 그릴 때 코드가 중복되거나 논리적 단계가 부족해 수정이 어려웠다. 이 논문은 AI가 그림을 그리기 전 단계를 계획하고(CoT), 시각적 유사도와 코드 효율성을 동시에 보상으로 주어 사람이 짠 것처럼 깔끔하고 정확한 도면을 생성하게 한다.

SVG는 픽셀이 아닌 수학적 경로(Path)로 그림을 정의하므로, LLM이 이를 생성할 때 토큰 간의 관계뿐만 아니라 최종 렌더링 결과의 시각적 구조를 이해해야 한다. 기존 방식은 단순히 다음 코드를 예측하는 데 집중하여, 시각적으로는 비슷해 보여도 코드가 지저분하거나 불필요한 경로가 반복되는 한계가 있었다.

CTRL-S는 추론(Reasoning)과 구조(Structure)를 일대일로 매칭한다. AI가 '먼저 노란색 타원형 쟁반을 그린다'는 계획을 세우면, 실제 코드에서도 <g id="tray">와 같은 그룹 태그를 생성하도록 유도한다. 이는 딥러닝의 Attention 메커니즘이 특정 객체에 집중하는 것과 유사하게, 생성 과정의 투명성을 높이고 편집을 용이하게 만든다.

또한, GRPO(Group Relative Policy Optimization) 강화학습을 통해 여러 보상을 동시에 최적화한다. 단순히 정답 코드와 비슷하게 쓰는 것이 아니라, 렌더링된 이미지가 원본과 얼마나 닮았는지, 설명과 일치하는지, 그리고 코드가 얼마나 간결한지를 숫자로 계산하여 모델의 가중치를 정교하게 조정함으로써 사람이 작성한 것과 같은 고품질 벡터 그래픽을 생성한다.

전체 접근 방식은 2단계 SFT(Supervised Fine-Tuning)와 이후의 멀티태스크 RL 단계로 구성된다. 먼저 100만 개의 샘플로 SVG 토큰 임베딩을 안정화하고, SVG-Sophia 데이터셋을 통해 CoT와 구조화된 코드 간의 정렬을 학습한다.

강화학습 단계에서는 GRPO 알고리즘을 사용한다. [현재 정책에서 샘플링된 G개의 결과물들을 입력으로] → [각 결과물의 보상을 계산하고 그룹 내 평균과 표준편차로 정규화하여] → [상대적인 우위 점수(Advantage)를 얻고] → [이 점수가 높은 방향으로 모델을 업데이트하여] 가치 모델 없이도 효율적인 학습을 수행한다.

시각적 보상은 DINOv2를 활용한다. [렌더링된 이미지와 정답 이미지를 입력으로] → [DINOv2 인코더를 통해 고차원 특징 벡터를 추출하고 코사인 유사도를 계산하여] → [0.5~1 사이의 점수를 얻고] → [픽셀 단위의 오차를 넘어선 시각적/구조적 유사성을 수치화]하여 보상으로 제공한다.

코드 효율성 보상(Reff)은 생성된 코드 길이 Lgen과 정답 길이 Lgt를 비교한다. [코드 길이 차이를 입력으로] → [길이 차이에 따른 지수적 페널티를 연산하여] → [0~1 사이의 점수를 얻고] → [모델이 불필요한 반복이나 중복 경로를 생성하지 않도록 억제]하여 추론 속도를 높인다.

SArena-Icon 벤치마크에서 Text-to-SVG 작업의 CLIP-T2I 점수가 25.944로 측정되어, 기존 SOTA 모델인 InternSVG-8B(23.916)를 크게 상회했다. 성공률(SR) 또한 99.85%에 달해 생성의 안정성을 입증했다.

Image-to-SVG 작업에서도 DINO 점수 0.980, SSIM 0.835를 기록하며 시각적 충실도 면에서 GPT-5.2나 Claude-Sonnet-4.5와 같은 상용 모델보다 우수한 성능을 보였다.

Ablation study 결과, CoT를 도입했을 때 SFT 모델의 성공률이 85.75%에서 92.02%로 상승했다. 또한 코드 효율성 보상을 추가함으로써 생성 토큰 수가 701개에서 346개로 줄어들고, 추론 시간은 7.121초에서 4.439초로 약 38% 단축되는 효과를 확인했다.

아키텍처는 Qwen3-VL-8B-Instruct를 기반으로 하며, SVG 전용 토큰 49개(태그)와 35개(속성)를 추가하여 토크나이저를 확장했다. 좌표 및 파라미터 예측을 위해 -128에서 128 사이의 정수 및 소수점 토큰을 별도로 할당하여 수치적 정확도를 높였다.

CoT-Structured Alignment 기술을 통해 <think> 블록 내의 추론 단계와 SVG의 <g> 그룹 구조를 1:1로 매핑한다. 이는 모델이 계층적 구조를 명시적으로 인지하게 하여 복잡한 기하학적 형상 생성 시의 논리적 오류를 줄이고 코드의 가독성을 극대화한다.

멀티리워드 설계에서 Long-CLIP을 도입하여 77토큰 제한이 있는 기존 CLIP의 한계를 극복했다. 이를 통해 상세한 텍스트 지시문과 렌더링된 이미지 간의 세밀한 의미론적 정렬(Semantic Alignment)이 가능해져 복잡한 장면 묘사 능력이 향상되었다.

학습은 48개의 H200 GPU에서 진행되었으며, RL 단계에서는 32개의 GPU를 사용하여 GRPO 알고리즘으로 최적화했다. 보상 가중치는 DINO:CLIP:Efficiency = 2:1:1 비율로 설정하여 시각적 품질과 코드 효율성 사이의 최적의 균형을 달성했다.

논문은 기존 SFT 모델의 토큰 수준 감독 한계와 시각적 피드백 부재를 해결하는 데 집중하고 있으나, 모델 자체의 명시적인 한계점은 본문에서 구체적으로 언급되지 않았다.