SEEPHYS PRO: 모달리티 전이 및 블라인드 트레이닝 효과를 진단하는 멀티모달 RLVR 기반 물리 추론 벤치마크

멀티모달 AI에서 같은 물리 문제를 텍스트-기반과 시각적 표현으로 다르게 제시했을 때 모델이 동일한 추론 경로를 유지하는지 확인하는 것이 중요하다. SEEPHYS PRO는 네 가지 정렬된 표현(Level 1–4)을 통해 구조 인식, 변수 바인딩, 최종 렌더링의 각 단계에서 모달리티 간 갭을 분해해 분석한다. 이로써 단순한 최종 정답 정확도가 아니라 모달리티 전이에 따른 견고성까지 평가할 수 있다.

출발점: 모달리티 전이가 모델의 물리 추론에 어떤 영향을 미치는가를 판단하기 위해 Level 1(text)에서 Level 4(rendered image)까지 네 단계로 정보를 이동시킨다. 구조 grounding은 Level 2에서, 변수 grounding은 Level 3에서, 완전한 렌더링은 Level 4에서 평가한다. 이때 Aℓ(f) = 100/N ∑ I[h g(ŷi,ℓ) = yi]로 레벨별 정확도를 측정하고 ∆S, ∆V, ∆R, ∆T로 모달리티 전이의 각 구간을 정의한다. Cons4는 4개 레벨에서 모두 정답을 맞춘 비율이다. 결과적으로 변수 grounding이 주요 병목이고, 렌더링의 OCR/수식 인식도 보조적 문제로 작용하나 여전히 한계가 존재한다. 블라인드 트레이닝은 시각적 정보가 없어도 unmasked 테스트에서 정확도가 개선될 수 있음을 보여주며, 이는 잔류 언어 신호나 데이터셋의 규칙성에 의해 달성될 수 있음을 시사한다.

단계1: seed 문제를 수집하고 Level 1–4로 aligned하게 변환한다. 단계2: Level-2는 구조를 시각화하고 레벨3은 변수/레이블을 오버레이하며, 레벨4는 핸드라이팅 수식과 다이어그램을 하나의 이미지로 렌더링한다. 그 결과 각 레벨 Lℓ에서의 답을 yi로 간주하고 모델 f에 대해 Aℓ(f) = 100/N ∑ I[h f(x(ℓ)i) = yi]. 모달리티 전이 갭은 ∆S = A1 − A2, ∆V = A2 − A3, ∆R = A3 − A4, ∆T = ∆S + ∆V + ∆R로 정의한다. Cons4는 4개 레벨에서 모두 올바른 답을 낸 비율이다. 데이터 생성은 Seed Questions 1,000개, Total Questions 4,000개로 구성되며, 도메인/필드/주요 시각 정보 및 추론 기술을 태깅한다. 점수 매커니즘은 텍스트-기반 모델과 비시각적 신호 간의 차이를 분해하기 위해 레벨별 성능과 전이 지표를 함께 제시한다.

메인 벤치마크 결과: 평균적으로 L1→L4 간 정확도가 감소하고 총 모달리티 전이 갭 ∆T의 평균은 13.4 포인트이다. 입력 레벨별 평균 정확도: L1 49.2%, L2 46.1%, L3 38.7%, L4 35.8%; Cons4 21.4%. 구조 정보 전이는∆S=3.0, 변수 grounding 전이는∆V=7.4로 주된 병목은 변수-grounding에서 발생한다. 렌더링 전이는∆R=2.9로 비교적 작다. 인간 성능은 L1=54.0, L2=58.5, L3=59.5, L4=56.0, Cons4=49.0으로 보고된다. 블라인드 RL은 normal RL과 비교해 L1–L4의 정확도 향상을 유발하지만 모달리티 간 간극의 일관된 축소를 보이지 않는다. 이 연구는 정확도 증가가 반드시 더 나은 시각적 접지로 이어지지 않음을 시사한다.

벤치마크 구성은 4단계 레벨(Level-1~4)의 aligned 문제를 사용한다. Level-1은 텍스트-only, Level-2는 구조를 이미지에 담고, Level-3은 변수/레이블을 추가로 오버레이하며, Level-4는 핸드라이팅 수식과 함께 전체를 렌더링한다. 평가 지표는 Aℓ(f) = 100/N ∑ I[h( f(x(ℓ)i)) = yi]로 정의하고 ∆S, ∆V, ∆R, ∆T로 모달리티 전이 갭을 측정한다. Cons4는 4개 레벨에서 모든 문제를 정답으로 맞춘 비율이다. 데이터 원천은 5,000 페이지 이상의 PDF에서 Mathpix OCR로 구조화되며, annotator가 3계층 taxonomy(discipline, field, domain) 및 시각 정보/추론 기술 태깅을 수행한다. 벤치마크의 구성 Workflow는 4단계(소스 수집 → 큐레이션 → 변환 → 스케치)로 요약된다. 벤치마크 외에도 PhysRL-38K(≈38K 예시), PhysRL-8K(≈8K 예시) 학습 코퍼스를 제공하여 RL에서의 시각 기반 학습 효과를 탐색한다. 동일 물리 시스템은 유지하되 표현만 다르게 제시하는 구조로 문제를 구성한다. 학습/평가 시나리오는 GSPO 기반 정책 최적화와 함께 텍스트-기반 최종 답변 검증 보상을 사용한다.

SEEPHYS PRO는 물리 벤치마크의 최상위 난이도를 목표로 하지 않으며, 모달리티 전이의 진정한 물리적 이해를 평가하기보다는 진단적 분석에 초점을 둔다. 또한 모달리티 전이에서의 간극 축소를 일관되게 달성하는 전략을 제시하지 않으며, 불확실한 경우 -1 처리 및 정량적 평가의 한계가 존재한다. 추가적으로 시각적 증거의 보완이 필요하며 반사적 보상/프로세스 수준 보상을 통한 개선 가능성은 남아 있다.