맹점에서 이득으로: 대형 멀티모달 모델을 위한 진단 기반 반복 학습

기존 멀티모달 모델 학습이 정적인 데이터셋에 의존하여 특정 취약점을 해결하지 못하던 한계를 극복했다. 모델 스스로 자신의 약점을 진단하고 필요한 데이터를 생성해 학습하는 선순환 구조를 통해 적은 데이터로도 비약적인 성능 향상을 이끌어냈다.

Transformer 기반의 LMM은 대규모 데이터를 통해 학습되지만, 학습 데이터에 포함되지 않은 희귀한 시나리오나 복잡한 논리 구조에서는 취약점을 드러낸다. 기존의 자기 진화 방식은 모델이 생성한 답변의 불확실성 등을 기준으로 데이터를 필터링할 뿐, 모델이 구체적으로 왜 틀렸는지에 대한 진단이 부족하여 학습 효율이 낮았다. DPE는 모델의 실패 패턴을 명시적으로 분석하는 Adaptive Diagnosis 메커니즘을 도입한다. 모델이 특정 유형의 문제에서 반복적으로 오답을 낸다면, 이를 맹점으로 정의하고 해당 영역의 데이터를 집중적으로 생성하도록 유도한다. 이 과정에서 정적인 이미지 세트에 갇히지 않고, 외부 웹 검색이나 이미지 편집 도구를 사용하여 시각적 다양성을 확보한다. 결과적으로 모델은 자신이 가장 못하는 부분에 대한 맞춤형 교육 과정을 스스로 설계하고 이수하게 되어, 적은 데이터로도 전체적인 지능 수준을 빠르게 끌어올린다.

DPE는 진단, 질문 생성, 학습의 세 단계로 구성된 반복 루프를 수행한다. 진단 단계에서는 모델이 샘플 문제를 풀게 한 뒤, 진단 에이전트가 실패 원인을 분석하여 12가지 능력 차원에 대한 가중치와 구체적인 개선 지침을 담은 구조화된 보고서를 생성한다. 카테고리별 정확도 Acc_c가 입력되면 이를 가중치로 변환하고 정규화 연산을 수행하여 다음 라운드의 데이터 생성 비율을 결정한다. 질문 생성 단계에서는 Planner, Image Selector, Question Generator, Validation Agent로 구성된 멀티 에이전트 시스템이 작동한다. Planner가 보고서를 바탕으로 샘플 생성 계획을 세우면, Image Selector가 외부 이미지 풀에서 적절한 이미지를 검색하거나 Qwen-Image-Edit 도구로 이미지를 편집하여 시각적 입력을 준비한다. 학습 단계에서는 생성된 데이터를 바탕으로 GRPO 알고리즘을 적용한다. 개별 답변의 보상 r_i와 그룹 평균 보상이 주어질 때 (r_i - mean(r)) / std(r)을 계산하여 상대적 우위를 평가한다. 이 값은 모델의 가중치 갱신 방향을 결정하며, 특히 정답 확률이 0.5 부근인 적당히 어려운 문제에서 학습 신호가 가장 강하게 발생하도록 설계되어 학습 효율을 극대화한다.

Qwen2.5-VL-7B-Instruct 모델을 대상으로 한 실험에서 DPE는 단 3,000개의 샘플 학습만으로 11개 벤치마크 전체에서 성능 향상을 기록했다. MMMU 점수는 54.44에서 56.44로 상승했으며, 특히 CharXiv 벤치마크에서는 기존 VisPlay 방식 대비 4.11점 높은 성능을 보였다. 시각적 수학 추론 성능에서 괄목할만한 성과를 거두었다. MathVista에서 76.2점, MathVision에서 53.88점을 기록하며, 파라미터 수가 훨씬 많은 Qwen2.5-VL-72B(61.9점)와 상용 모델인 GPT-4o(56.1점)를 제치고 새로운 SOTA를 달성했다. Ablation Study를 통해 진단 모듈과 이미지 편집 도구의 중요성을 확인했다. 진단 모듈을 제거할 경우 학습이 불안정해지며 성능이 정체되거나 하락하는 현상이 나타났고, 이미지 편집 도구를 제외하면 OCR 및 차트 관련 작업에서 성능이 최대 2.81점 하락하는 결과가 확인됐다.

DPE의 핵심은 모델의 정책을 능력 공간으로 매핑하여 명시적으로 관리하는 것이다. 각 라운드마다 N=200개의 샘플을 추출하여 카테고리별 정확도를 측정하고, 이를 바탕으로 다음 라운드의 데이터 생성 비율을 동적으로 조정한다. 데이터 생성 시 Image Selector Agent는 Search, Filter, Edit/Compose의 세 가지 기능을 수행한다. 특히 Edit/Compose 기능은 여러 이미지를 이어 붙이거나 특정 영역을 크롭하고 텍스트를 오버레이하는 등의 작업을 통해, 정적 데이터셋으로는 확보하기 어려운 롱테일 시나리오를 인위적으로 생성하여 모델의 시각적 인지 범위를 확장한다. 학습에 사용된 GRPO는 별도의 Value Network 없이 그룹 내 상대적 보상을 활용하여 연산 효율을 높였다. 이진 보상 환경에서 성공률 p(x)가 주어질 때 p(x)(1-p(x)) / 2β²를 계산한다. 이 값은 KL Divergence의 하한선이 되며, p(x)가 0.5일 때 최대화되어 모델이 가장 효율적으로 학습할 수 있는 난이도의 지표가 된다.