멀티태스크 멀티리워드 강화학습을 통한 SVG-LLM의 신뢰할 수 있는 추론

기존 AI는 복잡한 벡터 그래픽(SVG)을 그릴 때 코드가 중복되거나 논리적 단계가 부족해 수정이 어려웠다. 이 논문은 AI가 그림을 그리기 전 단계를 계획하고(CoT), 시각적 유사도와 코드 효율성을 동시에 보상으로 주어 사람이 짠 것처럼 깔끔하고 정확한 도면을 생성하게 한다.

왜 중요한가

핵심 기여

CTRL-S 프레임워크

CoT 추론과 멀티태스크 온라인 강화학습을 통합하여 SVG 코드 수정 및 생성을 최적화하는 통합 프레임워크를 구축했다.

SVG-Sophia 데이터셋

145K개의 고품질 샘플을 포함하며, 명시적인 CoT 추론 과정과 그룹 단위의 구조화된 SVG 코드가 정렬된 데이터셋을 공개했다.

멀티리워드 GRPO 최적화

시각적 충실도(DINO), 의미론적 일치(Long-CLIP), 형식 타당성, 코드 효율성을 결합한 다중 보상 체계를 통해 모델의 생성 능력을 정교하게 조정했다.

SVG 코드 정제 작업 도입

모델이 스스로 오류를 진단하고 수정하는 능력을 학습하게 하여 생성 품질과 일반화 성능을 강화했다.

핵심 아이디어 이해하기

SVG는 픽셀이 아닌 수학적 경로(Path)로 그림을 정의하므로, LLM이 이를 생성할 때 토큰 간의 관계뿐만 아니라 최종 렌더링 결과의 시각적 구조를 이해해야 한다. 기존 방식은 단순히 다음 코드를 예측하는 데 집중하여, 시각적으로는 비슷해 보여도 코드가 지저분하거나 불필요한 경로가 반복되는 한계가 있었다.

CTRL-S는 추론(Reasoning)과 구조(Structure)를 일대일로 매칭한다. AI가 '먼저 노란색 타원형 쟁반을 그린다'는 계획을 세우면, 실제 코드에서도 와 같은 그룹 태그를 생성하도록 유도한다. 이는 딥러닝의 Attention 메커니즘이 특정 객체에 집중하는 것과 유사하게, 생성 과정의 투명성을 높이고 편집을 용이하게 만든다.

또한, GRPO(Group Relative Policy Optimization) 강화학습을 통해 여러 보상을 동시에 최적화한다. 단순히 정답 코드와 비슷하게 쓰는 것이 아니라, 렌더링된 이미지가 원본과 얼마나 닮았는지, 설명과 일치하는지, 그리고 코드가 얼마나 간결한지를 숫자로 계산하여 모델의 가중치를 정교하게 조정함으로써 사람이 작성한 것과 같은 고품질 벡터 그래픽을 생성한다.

방법론

전체 접근 방식은 2단계 SFT(Supervised Fine-Tuning)와 이후의 멀티태스크 RL 단계로 구성된다. 먼저 100만 개의 샘플로 SVG 토큰 임베딩을 안정화하고, SVG-Sophia 데이터셋을 통해 CoT와 구조화된 코드 간의 정렬을 학습한다.

강화학습 단계에서는 GRPO 알고리즘을 사용한다. [현재 정책에서 샘플링된 G개의 결과물들을 입력으로] → [각 결과물의 보상을 계산하고 그룹 내 평균과 표준편차로 정규화하여] → [상대적인 우위 점수(Advantage)를 얻고] → [이 점수가 높은 방향으로 모델을 업데이트하여] 가치 모델 없이도 효율적인 학습을 수행한다.

시각적 보상은 DINOv2를 활용한다. [렌더링된 이미지와 정답 이미지를 입력으로] → [DINOv2 인코더를 통해 고차원 특징 벡터를 추출하고 코사인 유사도를 계산하여] → [0.5~1 사이의 점수를 얻고] → [픽셀 단위의 오차를 넘어선 시각적/구조적 유사성을 수치화]하여 보상으로 제공한다.

코드 효율성 보상(Reff)은 생성된 코드 길이 Lgen과 정답 길이 Lgt를 비교한다. [코드 길이 차이를 입력으로] → [길이 차이에 따른 지수적 페널티를 연산하여] → [0~1 사이의 점수를 얻고] → [모델이 불필요한 반복이나 중복 경로를 생성하지 않도록 억제]하여 추론 속도를 높인다.

주요 결과

SArena-Icon 벤치마크에서 Text-to-SVG 작업의 CLIP-T2I 점수가 25.944로 측정되어, 기존 SOTA 모델인 InternSVG-8B(23.916)를 크게 상회했다. 성공률(SR) 또한 99.85%에 달해 생성의 안정성을 입증했다.

Image-to-SVG 작업에서도 DINO 점수 0.980, SSIM 0.835를 기록하며 시각적 충실도 면에서 GPT-5.2나 Claude-Sonnet-4.5와 같은 상용 모델보다 우수한 성능을 보였다.

Ablation study 결과, CoT를 도입했을 때 SFT 모델의 성공률이 85.75%에서 92.02%로 상승했다. 또한 코드 효율성 보상을 추가함으로써 생성 토큰 수가 701개에서 346개로 줄어들고, 추론 시간은 7.121초에서 4.439초로 약 38% 단축되는 효과를 확인했다.

기술 상세

아키텍처는 Qwen3-VL-8B-Instruct를 기반으로 하며, SVG 전용 토큰 49개(태그)와 35개(속성)를 추가하여 토크나이저를 확장했다. 좌표 및 파라미터 예측을 위해 -128에서 128 사이의 정수 및 소수점 토큰을 별도로 할당하여 수치적 정확도를 높였다.

CoT-Structured Alignment 기술을 통해 블록 내의 추론 단계와 SVG의 그룹 구조를 1:1로 매핑한다. 이는 모델이 계층적 구조를 명시적으로 인지하게 하여 복잡한 기하학적 형상 생성 시의 논리적 오류를 줄이고 코드의 가독성을 극대화한다.

멀티리워드 설계에서 Long-CLIP을 도입하여 77토큰 제한이 있는 기존 CLIP의 한계를 극복했다. 이를 통해 상세한 텍스트 지시문과 렌더링된 이미지 간의 세밀한 의미론적 정렬(Semantic Alignment)이 가능해져 복잡한 장면 묘사 능력이 향상되었다.

학습은 48개의 H200 GPU에서 진행되었으며, RL 단계에서는 32개의 GPU를 사용하여 GRPO 알고리즘으로 최적화했다. 보상 가중치는 DINO:CLIP:Efficiency = 2:1:1 비율로 설정하여 시각적 품질과 코드 효율성 사이의 최적의 균형을 달성했다.

한계점

논문은 기존 SFT 모델의 토큰 수준 감독 한계와 시각적 피드백 부재를 해결하는 데 집중하고 있으나, 모델 자체의 명시적인 한계점은 본문에서 구체적으로 언급되지 않았다.

실무 활용

웹 디자인, UI/UX 프로토타이핑, 아이콘 생성 등 정교한 벡터 그래픽이 필요한 실무 환경에서 즉시 활용 가능하다. 특히 AI가 생성한 코드가 구조화되어 있어 개발자가 사후에 수정하기 매우 편리하다.

텍스트 설명을 기반으로 한 고품질 웹 아이콘 및 로고 자동 생성
기존 비트맵 이미지를 편집 가능한 고정밀 SVG 벡터 도면으로 변환
오류가 있거나 비효율적인 SVG 코드를 자동으로 최적화 및 리팩터링

코드 공개 여부: 공개

코드 저장소 보기

키워드

SVG(확장 가능한 벡터 그래픽)CoT(사고의 사슬)GRPO(그룹 상대 정책 최적화)Multi-Reward(다중 보상)Vector Graphics(벡터 그래픽)

용어 해설

확장 가능한 벡터 그래픽(SVG): — 픽셀 그리드가 아닌 점, 선, 곡선과 같은 기하학적 기본 도형을 수학적 수식으로 정의하는 XML 기반 벡터 이미지 형식이다. 해상도에 독립적이며 텍스트 기반 코드로 이루어져 있어 AI가 생성하고 수정하기에 적합한 구조를 가진다.
사고의 사슬(Chain-of-Thought): — 모델이 최종 답안을 내놓기 전 중간 추론 단계를 명시적으로 생성하도록 유도하는 기법이다. 복잡한 문제를 단계별로 나누어 해결함으로써 논리적 오류를 줄이고 생성 결과의 품질을 높이는 역할을 한다.
그룹 상대 정책 최적화(GRPO): — 별도의 가치 모델(Value Model) 없이 동일한 프롬프트에서 생성된 여러 출력값의 상대적 보상을 비교하여 모델을 학습시키는 강화학습 알고리즘이다. 메모리 효율성이 높으며 복잡한 생성 작업의 정렬에 효과적이다.
디노 v2(DINOv2): — 자기지도학습을 통해 이미지의 고차원적인 특징을 추출하는 비전 모델이다. 픽셀 단위의 단순 비교를 넘어 사물의 구조적, 시각적 유사성을 파악하는 데 탁월한 성능을 보인다.

멀티태스크 멀티리워드 강화학습을 통한 SVG-LLM의 신뢰할 수 있는 추론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드