단순하고 통합된 스케일링으로 골드메달 수준의 올림피아드 추론 달성

올림피아드 문제는 장기적 추론과 증명-검증의 엄밀한 조합이 필요하다. 본 연구는 SFT로 규범적 증명-검색 습관을 주입하고, 두 단계의 RL로 탐색 및 증명 품질을 확장하며, TTS로 평가-검증 비용을 늘려 골드급 성능을 달성한다. 또한 수학과 물리 외의 과학 도메인으로 일반화될 가능성을 보인다.

올림피아드 문제의 핵심은 긴 흐름의 해결책 탐색과 각 단계의 검증이다. SFT는 증명-검색 패턴과 자기검증 습관을 고립된 데이터로 강화하고, RL은 이 패턴이 문제를 더 넓은 범위의 문제에 적용되도록 확장한다. TTS는 추가 추론 예산을 제공해 더 긴 추론 과정을 안정적으로 유지하며, 최종적으로 proof-level의 품질까지 확보한다.

• SFT 데이터 구성 및 역 perplexity 커리큘럼: 338K trajectories를 수집/정제하고, 4에포크 학습, 8K 토큰 제한으로 긴 솔루션의 신호를 학습한다.
• Coarse RL: verifiable prompts를 사용하여 GSPO로 정책을 개선하고, 최종 답안의 정합성을 보상한다.
• Refined RL: 증명-품질 보상을 도입하고 self-refinement/경험 재생으로 복잡한 proofs를 학습한다.
• Test-time Scaling: solver-verify-refine 루프를 반복하여 추론을 확장하고, 검증의 견고함을 확보한다.

• 벤치마크 전반에서 강력한 성능: AnswerBench/AMO-Bench/AIME 25/26/ FrontierScience-Olympiad의 평균 77.3%에 근접, 동일 규모의 강한 Baseline에 근접.
• 비검증 벤치마크: IMO-ProofBench 직접 생성 57.6%, TTS 적용 시 70.2%까지 상승.
• IPhO 2024/2025: 각각 23.5/25.3점(Direct), 25.3/21.7점(TTS).
• IMO 2025 및 USAMO 2026: TTS 적용 시 35점으로 골드 라인에 도달; 직접 생성도 여러 문제에서 완전 해결 가능.
• 총합: SU-01은 유사 규모의 벤치에서 최고 수준의 점수를 달성하며, 도메인 일반화에서도 강한 전이를 보여준다.