RealChart2Code: 실제 데이터와 다중 작업 평가를 통한 차트-코드 생성 기술의 발전

기존의 차트-코드 생성 연구는 단순한 단일 차트에 치중되어 실제 업무 환경의 복잡성을 반영하지 못했다. 이 논문은 실제 Kaggle 데이터를 기반으로 한 2,800개 이상의 사례를 통해 VLM이 복잡한 레이아웃과 다중 패널 차트를 얼마나 정확하게 코드로 변환하고 수정할 수 있는지 체계적으로 평가하는 새로운 기준을 제시한다.

기존 VLM은 단일 이미지 내의 객체를 인식하거나 간단한 코드를 생성하는 데는 능숙하지만, 여러 데이터 시리즈가 얽힌 다중 패널 차트의 구조적 관계를 파악하는 데는 어려움을 겪는다. 이는 Transformer 기반의 Attention Mechanism이 국소적인 시각 정보는 잘 포착하더라도, 전체적인 레이아웃의 논리적 배치와 데이터 매핑의 일관성을 유지하는 전역적 추론 능력이 부족하기 때문이다.

RealChart2Code는 이러한 한계를 극복하기 위해 단순히 그림을 코드로 바꾸는 것을 넘어, 실제 데이터를 입력받아 시각화 로직을 재구성하거나 사용자의 피드백에 따라 코드를 점진적으로 수정하는 능력을 요구한다. 이를 통해 모델이 시각적 요소를 코드의 특정 파라미터와 얼마나 정확하게 연결(Mapping)하는지 검증한다.

결과적으로 이 벤치마크는 모델이 단순한 패턴 암기를 넘어 데이터 시각화의 기저에 깔린 논리적 구조를 이해하고 있는지를 판별하는 척도가 된다. 특히 복잡한 레이아웃에서 요소 간의 겹침을 방지하고 적절한 여백을 유지하는 등의 공간 추론 능력을 중점적으로 평가한다.

데이터 큐레이션 파이프라인은 Kaggle에서 8,000개 이상의 데이터셋을 수집한 후, 커뮤니티 지표와 데이터 품질을 기준으로 1,036개의 고품질 데이터셋을 선별하는 과정으로 시작된다. 이후 전문 개발자 팀이 Matplotlib을 사용하여 1,016개의 복잡한 시각화 사례를 직접 구현하여 Ground-Truth 코드를 생성한다.

평가 작업은 세 가지 변형으로 구성된다. Chart Replication은 이미지 정보만으로 코드를 생성하는 능력, Chart Reproduction은 이미지와 원천 CSV 데이터를 함께 활용하는 능력, Chart Refinement는 오류가 포함된 코드와 수정 지시사항을 받아 멀티턴 대화로 코드를 고치는 능력을 평가한다.

평가 지표는 실행 가능성을 측정하는 Pass Rate와 시각적 정확도를 측정하는 Visual Accuracy Score를 결합한다. Visual Accuracy는 다중 에이전트 패널이 차트 유형, 레이아웃, 텍스트 요소, 축 설정, 색상 등 8가지 세부 항목에 대해 0~2점 척도로 채점한다. [생성된 이미지와 참조 이미지 입력 → 8개 기준별 비교 연산 → 세부 항목별 점수 산출 → 최종 시각적 정확도 의미].

Claude-4.5-Opus가 평균 점수 8.2점으로 상용 모델 중 가장 우수한 성능을 보였으며, Gemini-3-Pro-Preview(8.1점)가 그 뒤를 이었다. 반면 오픈 소스 모델 중 최고점인 Qwen3-VL-235B는 3.6점에 그쳐 상용 모델과의 현격한 성능 차이를 드러냈다.

기존 벤치마크인 ChartMimic이나 Plot2Code에서 90% 이상의 높은 점수를 기록하던 모델들도 RealChart2Code에서는 성능이 약 50% 수준으로 급락했다. 이는 실제 데이터의 복잡성과 다중 패널 레이아웃이 모델에게 매우 높은 난이도의 과제임을 시사한다.

오류 분석 결과, 오픈 소스 모델은 주로 구문 오류(Syntax Error)나 실행 실패를 겪는 반면, 상용 모델은 시각적 구조는 잘 잡으나 특정 데이터 시리즈를 잘못된 축에 매핑하는 데이터 매핑 오류(Data Mapping Error)가 주된 실패 원인으로 나타났다.

벤치마크는 50가지 이상의 차트 유형(Line, Scatter, Bar, Heatmap 등)과 복잡한 합성 레이아웃(Multi-panel, Dual-axis)을 포함하도록 설계되었다. 모든 시각화는 Matplotlib 라이브러리를 표준으로 사용하며, 실행 환경은 Docker 컨테이너로 격리되어 보안과 재현성을 보장한다.

평가 프레임워크는 Fleiss' κ 계수 0.824를 기록하여 인간 평가자와의 높은 일관성을 증명했다. 특히 Chart Reproduction 작업에서는 코드 레벨의 데이터 처리 로직 비교를 통해 모델이 데이터를 임의로 조작하지 않고 정확히 핸들링하는지 검증하는 메커니즘을 포함한다.

멀티턴 대화 평가인 Chart Refinement에서는 Regressive Editing 현상이 발견되었다. 이는 모델이 특정 부분을 수정하면서 이전에 올바르게 작성되었던 다른 부분을 의도치 않게 훼손하는 현상으로, 전역적 일관성 유지의 어려움을 보여준다.

현재 코드 구현이 Matplotlib 라이브러리에 국한되어 있어 다른 시각화 프레임워크에 대한 범용성이 부족하다. 또한 MLLM 기반 평가자가 미세한 요소 겹침이나 정밀한 색상 차이 같은 아주 미묘한 시각적 결함은 감지하지 못할 가능성이 존재한다.