최종 답변을 넘어: 투명한 멀티모달 추론 평가를 위한 CRYSTAL 벤치마크

실용적 조언

모델 평가 시 최종 답변뿐만 아니라 단계별 추론 과정을 검증하는 지표를 도입해야 한다
CPR 커리큘럼과 같은 보상 체계를 활용하여 모델의 논리적 일관성을 학습시킬 수 있다

섹션별 상세

CRYSTAL 벤치마크는 6,372개의 시각적 질문과 검증된 단계별 추론 과정을 포함하여 모델의 투명성을 평가한다. 기존 평가 방식이 최종 답변의 정답 여부에만 집중했다면, CRYSTAL은 모델이 정답에 도달하기까지의 논리적 단계를 실제로 밟았는지 추적한다. 실험 결과 대부분의 모델이 정답률은 높지만 실제 추론 단계 복구율은 현저히 낮은 것으로 나타났다.

GPT-5를 포함한 최신 모델들도 추론 과정에서 한계를 보였다. GPT-5는 58%의 높은 정답 정확도를 기록했으나, 추론 단계 복구율은 48%에 그쳐 논리적 근거 없이 정답을 맞히는 경향이 확인됐다. 또한 20개 모델 중 19개가 추론 단계 중 일부만 맞히고 나머지는 건너뛰는 '체리 피킹' 현상을 보였으며, 단계의 순서를 올바르게 유지하는 비율은 60% 미만이었다.

모델의 크기가 추론 능력과 반드시 비례하지 않는다는 사실이 입증됐다. Gemma 3 4B 모델은 파라미터 수가 약 9.5배 더 많은 InternVL 3.5 38B 모델보다 더 우수한 추론 성능을 기록했다. 이는 효율적인 아키텍처 설계와 데이터 학습 전략이 단순한 모델 확장보다 추론 능력 향상에 더 중요할 수 있음을 시사한다.

추론 능력을 강제하기 위해 CPR 커리큘럼(CPR Curriculum)이라는 새로운 보상 체계를 도입했다. 이 방식은 모델이 단순히 정답을 추측하는 대신 논리적 단계를 구성하도록 유도하며, Qwen 2.5 VL 3B에서 32%, InternVL 3.5 4B에서 93%의 추론 성능 향상을 이끌어냈다. 특히 표준 보상 방식이 수치적 불안정성(NaN)으로 실패하는 상황에서도 안정적인 학습이 가능했다.

용어 해설

멀티모달 추론(Multimodal Reasoning): — 텍스트뿐만 아니라 이미지, 영상 등 다양한 형태의 데이터를 동시에 처리하여 논리적인 결론을 도출하는 능력이다. 단순한 객체 인식을 넘어 시각 정보 간의 관계를 파악하고 단계별 논리를 전개해야 하므로 고도의 지능이 요구된다.
코사인 유사도(Cosine Similarity): — 두 벡터 간의 각도를 이용하여 유사성을 측정하는 방식이다. CRYSTAL 벤치마크에서는 모델이 생성한 추론 단계와 정답 추론 단계 사이의 의미적 유사성을 비교하여 단계 일치 여부를 판별하는 데 사용된다.
F1 점수(F1 Score): — 정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 모델의 성능을 종합적으로 평가하는 지표이다. 이 게시물에서는 추론 단계의 정확성과 누락 없는 추출을 동시에 평가하기 위해 Ordered Match F1 지표를 활용한다.

언급된 도구

CRYSTAL Benchmark추천

멀티모달 모델의 단계별 추론 능력 평가

CPR Curriculum추천

추론 성능 향상을 위한 학습 보상 체계

언급된 리소스

논문Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation

GitHubCRYSTAL Benchmark GitHub Repository