EDU-CIRCUIT-HW: 실제 대학 수준 STEM 학생의 손글씨 풀이에 대한 멀티모달 대형 언어 모델 평가

멀티모달 모델이 교육 현장에 도입되고 있지만, 복잡한 수식과 회로도가 섞인 대학 수준 STEM 과제를 정확히 이해하는지 검증하는 벤치마크는 부족했다. 이 논문은 실제 학생들의 손글씨 데이터를 통해 모델의 인식 실패가 채점 결과에 미치는 연쇄적 영향을 분석하고, 인간 개입을 최소화하면서도 정확도를 높이는 해결책을 제시한다.

기존의 MLLM 평가는 주로 최종 정답의 일치 여부만 확인하는 방식이었다. 하지만 이는 모델이 중간 과정을 완전히 잘못 이해했음에도 우연히 정답만 맞히는 '잠재적 실패'를 포착하지 못한다. 예를 들어, 회로도에서 저항값을 잘못 읽었지만 채점 기준표에 해당 저항값이 포함되지 않아 감점되지 않는 경우, 사용자는 모델의 시각적 이해력을 과대평가하게 된다.

이 논문은 모델의 내부 동작을 '상류 인식(Upstream Recognition)'과 '하류 채점(Downstream Grading)'으로 분리하여 분석한다. 딥러닝 모델이 이미지 속의 개별 픽셀을 텍스트나 수식 임베딩으로 변환하는 과정에서 발생하는 미세한 오차가, 이후 논리적 추론 단계에서 어떻게 증폭되거나 가려지는지를 추적한다.

결과적으로 모델의 성능이 개선될수록 더 세밀한 채점 기준(Rubric)이 적용될 때 오히려 숨겨져 있던 인식 오류들이 드러나며 성능이 급격히 저하되는 현상을 발견했다. 이는 고도화된 교육용 AI 시스템 구축을 위해서는 단순한 정답률 이상의 정밀한 시각적 이해도 검증이 필수적임을 시사한다.

전체 시스템은 MLLM 인식기, LLM 채점기, 그리고 오류 탐지 및 재채점 모듈로 구성된다. 먼저 Gemini 2.5 Pro와 같은 모델이 학생의 손글씨 이미지를 입력받아 Markdown 형식의 텍스트와 LaTeX 수식으로 변환한다. 이때 도표는 자연어 설명을 통해 위상 정보를 포함하도록 유도한다.

채점 단계에서는 GPT-5.1을 채점자로 설정하고 [문제 지문 + 학생 답안 텍스트 + 채점 기준표 → 감점 항목 및 사유 도출] 과정을 거친다. 수식 계산 원리를 풀어서 설명하면, 모델 출력 점수 P와 전문가 점수 G의 차이를 계산하여 Agreement 지표를 산출한다. 특히 Point Agreement는 가장 엄격한 기준으로, 오류 유형과 감점 수치가 모두 일치해야 한다.

오류 탐지 모듈은 전문가가 작성한 '골드 표준' 전사본과 모델의 인식 결과를 비교한다. 두 텍스트 간의 차이(Discrepancy)를 입력으로 하여 LLM-as-a-judge가 이를 4가지 오류 카테고리로 분류한다. 재채점 모듈에서는 모델이 인식한 내용 중 논리적 일관성이 깨지는 부분을 휴리스틱하게 탐지하여, 신뢰도가 낮은 경우에만 인간 채점자에게 라우팅한다.

Gemini-3-Preview는 37.62%의 샘플 오류율(SER)을 기록했음에도 불구하고, 채점 결과에 직접 영향을 미친 비율(EIR)은 7.60%에 불과했다. 이는 자동 채점 시스템이 모델의 실제 인식 실패를 상당 부분 가리고 있음을 보여준다.

채점 정확도 면에서 인간 전문가(Graduate TA)는 모든 기준에서 가장 일관된 성능을 보였다. 반면 최신 MLLM들은 이진 합의(Binary Agreement)에서는 인간을 앞서기도 했으나, 세부적인 감점 항목과 점수를 맞히는 Point Agreement에서는 인간 대비 유의미한 성능 격차를 보였다.

재채점 모듈을 적용한 사례 연구에서는 전체 답안의 3.3%~4.4%만을 인간에게 할당했음에도 불구하고, 시스템 전체의 채점 정확도가 전문가 수준에 근접하게 향상되는 결과를 얻었다. 이는 AI와 인간의 효율적인 협업 모델 가능성을 입증한다.

데이터셋은 62개의 고유한 회로 분석 문제와 29명의 학생으로부터 수집된 1,334개의 실제 답안으로 구성된다. 모든 답안은 전문가에 의해 5가지 평가 관점(Equation, Method, Unit, Calculation, Not complete)에 따라 채점되었다.

인식 오류 분류 체계는 Symbolic & Character(오타), Structural & Notational(수식 구조 오류), Diagrammatic(회로도 오인), Textual & Logical(논리 흐름 누락)로 정의된다. 실험 결과 모델들은 텍스트 논리 해석에는 강점을 보였으나, 회로도 내의 소자 연결 상태나 미세한 기호 인식에서 잦은 오류를 범했다.

LLM-as-a-judge 검증 결과, 제안된 자동 오류 탐지 파이프라인은 인간 전문가의 주석과 비교했을 때 0.9 이상의 F1 Score를 기록하여 높은 신뢰도를 확보했다. 이는 대규모 데이터셋에 대한 자동화된 성능 평가가 가능함을 뒷받침한다.

본 연구는 회로 분석이라는 특정 STEM 도메인에 집중되어 있어, 기하학이나 복잡한 그래프 등 다른 유형의 도표가 포함된 분야로의 일반화 가능성은 추가 검증이 필요하다. 또한 자동 채점 외의 VQA 등 다른 하류 작업에 대한 인식 오류의 영향은 다루지 않았다.