언어 모델이 코드를 통해 사고하도록 학습시키기: THINC 프레임워크

NL 추론 중심의 문제 해결에서 발생하는 산술 오류와 NL-코드의 역할 중복 문제를 해결하기 위해, 코드가 추론의 주체가 되는 THINC 프레임워크를 제안한다. THINC-4B는 다섯 가지 대회급 수학 벤치마크에서 TIR 기법을 모두 앞지르고, NL 추론 대신 interpreter 출력을 기반으로 최종 해답의 99.2%를 확보한다. 또한 초기 코드 실행 실패에도 비교적 견고하게 작동하며, 선행 연구의 한계를 코드-기반 추론으로 극복한다.

단락 1: 기존의 NL 기반 추론에서 코드가 도구로 사용되며, NL이 제시한 알고리즘이 코드에 의해 재현되는 구조가 흔하다. 이로 인해 NL의 산술 오류가 코드 블록으로 전이될 수 있고, NL과 코드의 역할이 서로 중복되는 문제점이 있다. 단락 2: THINC는 t1에서 해결 전략만 NL로 제시하고 나머지 추론은 코드 블록에서 수행하도록 구조를 바꾼다. 각 코드는 이전 실행 출력(o1, …, oi−1)에 의존하여 연산을 수행하고, 최종 해답은 interpreter의 출력에서 도출된다. 단락 3: 이 구조는 NL을 고수준의 계획에 한정하고, 코드는 모든 수학적 변형·계산을 수행하게 하여 검증 가능성과 재현성을 확보한다. 단락 4: THINC의 학습 흐름은 (i) THINC-SFT를 통한 코드-중심 데이터 구성, (ii) SFT로 코드 중심 행동의 상향 조정, (iii) GRPO 기반의 RL로 실제 문제 해결 성능을 강화하는 세 단계로 진행된다.

단락 1: THINC의 전체 아키텍처는 τThinC 형식으로 정의된다. 이는 (q, t1, c1, o1, c2, o2, ..., cN, oN, a)로 구성되며, t1은 문제해결 전략을 나타내는 NL 계획이다. i ≥ 2의 단계에서 코드는 각각의 실행 출력을 바탕으로 추론을 수행한다. 중간 값은 모두 interpreter의 실행으로 얻어진다.

단락 1: THINC-4B는 평균 78.1%로 최상위 성능을 달성하며, 5개 벤치마크 중 4개에서 최상 또는 2위로 나타난다. THINC-1.7B는 평균 42.8%로, NL-only 및 다른 도구 기반 추론 모델 대비 우수하다. THINC은 ASTER-4B 등 interleaved-TIR 대비 평균 4.1점의 우위를 보이며, 코드-블록의 수가 적지 않게 증가한 수치를 나타낸다. 단락 2: THINC-4B의 코드-근거 여부는 99.2%로 확인되며, 15의 consecutive code 실패에서도 Recovery Rate가 64–69%를 유지한다. 단락 3: RL 트레이닝은 Stage 13의 커리큘럼으로 구성되어, AIME 2024에서의 평균 정확도는 SFT 체크포인트 63.5%에서 RL 종료 시 88.3%까지 상승했다. 단락 4: 코드-근거 최종 답변 비율이 높아, NL 추론 의존도가 낮고 interpreter 출력에 기반한 결합 방식이 강건성을 높인다.

단락 1: 코드-주도 THINC 아키텍처의 구성 요소 및 학습 접근법의 차이점. 단락 2: THINC-SFT 데이터 수집 및 distillation 절차. 단락 3: SFT 손실 LSFT 정의 및 mk = 1 처리. 단락 4: RL 학습의 GRPO 알고리즘, Clip-Higher, ϵlow/ϵhigh 설정, Stage별 커리큘럼 및 컨텍스트 예산. 단락 5: 벤치마크 환경 및 평가 프로토콜, 32K 토큰 추론 예산과 16 traj per 문제의 설정.