SciIR: 과학 이미지 추론 생성용 대규모 학습 데이터셋 및 벤치마크

과학적 도식은 단순한 시각적 재현을 넘어서 토폴로지와 인과 관계, 그리고 물리적 법칙을 정확히 반영해야 한다. 기존 텍스트-투-이미지 모델은 시각적 사실성은 얻더라도 이러한 과학적 제약을 충족하지 못해 '그럴듯하지만 사실과 다른' 결과를 산출하는 경향이 있다. SciIR는 대규모의 추론 중심 데이터와 세분화된 평가체계를 제공함으로써 모델이 과학적 논리를 학습하고 검증 가능하게 만드는 기반을 제공했다.

과학적 일러스트레이션 생성의 핵심 문제는 시각적 사실성뿐 아니라 내부적 논리 일관성이다. 텍스트-투-이미지 모델은 시각적 패턴을 학습해 높은 미적 완성도를 달성하지만 토폴로지 제약이나 인과 흐름, 보존 법칙 같은 도메인 규칙을 내재화하지 못하면 과학적 유효성이 결여된 출력을 만든다. 본 연구는 이 격차를 줄이기 위해 이미지로부터 명시적 추론 사슬을 추출하고 이를 학습 감독 신호로 활용하는 접근을 채택하였다.

데이터 구축은 세 단계로 구성되었다. 첫째, Nature 계열 저널의 공개 라이선스 문서에서 원시 그림을 수집하고 Ultralytics-YOLO를 이용해 멀티패널을 하위 그림으로 분해하여 1024×1024로 표준화하였다. 둘째, InternVL3.5 기반의 VLM 스크리닝을 통해 도식적·과정적 이미지 후보를 선별한 뒤 수작업 검증을 통해 최종 82k 샘플을 확보하였다. 셋째, 각 샘플은 Qwen3-VL을 이용해 시각 근거를 우선으로 하는 Taxonomy-Driven Extraction을 수행하여 Terms와 Visualization 항목을 JSON 형태로 분해하였다.

SciIR-Bench에 대한 종합 평가는 모델군별로 현격한 성능 차이를 드러냈다. 상업 폐쇄형 모델 중 Nano-Banana-Pro는 최종 평균 95%로 가장 높은 성능을 기록한 반면 공개 오픈소스 확산계열 모델의 상위권인 Qwen-Image-2512는 35%를 기록하였다. 논문에서 제시한 파인튜닝 결과 Qwen-Image-SciIR는 SciIR-82k로 학습 후 최종 점수를 43%로 끌어올려 기저 모델 대비 8포인트의 향상을 확보하였다.

전체 아키텍처는 Reasoning Planner와 Visual Generator의 분리된 흐름으로 설계되었다. Reasoning Planner는 Qwen2.5-7B-Instruct 기반 모델을 LoRA 어댑터로 r=64 α=16 설정하여 모든 선형 변환층에 통합하였고 학습률 1×10⁻⁴와 최대 컨텍스트 길이 2048 토큰으로 한 단계의 최적화 스텝으로 학습하였다. Visual Generator는 Qwen-Image-2512를 기반으로 diffusion transformer 계층에 LoRA r=32를 적용하여 Sci-RCoT에서 이미지로 매핑하도록 학습하였고 학습 해상도는 1024×1024로 고정되었다.

논문은 SciIR-82k가 출판된 표준화된 그림에 편향되어 비전형적이거나 스타일이 다양한 도식이 과소표집되는 한계를 명시하였다. SciIR-Bench는 과학적 정확성에 무게를 두어 시각적 미적 요소를 우선시하는 응용에서는 적합하지 않을 수 있다. 또한 평가 프로토콜은 VLM 기반의 원자적 검증에 의존하므로 VLM 자체의 판정 오류가 결과에 영향을 줄 여지가 존재한다.