TERMINATOR: Chain-of-Thought 추론의 조기 종료를 위한 최적 탈출 지점 학습

대형 추론 모델(LRM)은 정답을 찾은 뒤에도 불필요하게 생각을 지속하며 연산 자원을 낭비하는 'Overthinking' 문제를 겪는다. 이 논문은 모델 내부의 신호를 포착해 정답 도출 즉시 추론을 멈추게 함으로써, 정확도는 유지하면서 추론 비용과 시간을 획기적으로 줄이는 실용적인 해결책을 제시한다.

Transformer 기반 추론 모델은 사고의 사슬(CoT)을 통해 문제를 해결하지만, 정답 토큰이 생성된 이후에도 시퀀스를 멈추지 못하고 불필요한 검토 과정을 거치는 한계가 있다. 이는 Softmax 확률 분포상에서 정답에 대한 확신이 이미 충분함에도 불구하고, 모델이 '생각을 멈추는 시점'을 명시적으로 학습하지 않았기 때문에 발생한다.

논문은 모델이 정답에 도달하는 순간 내부의 'Token-Confidence'(상위 K개 토큰의 로그 확률 평균)가 급격히 상승했다가 하락하는 스파이크 현상과 'hmm', 'okay' 같은 특정 생각 토큰의 사용 빈도 변화에 주목한다. 이러한 내부 신호들은 모델이 겉으로는 계속 생각하는 척하더라도 내부적으로는 이미 결론에 도달했음을 암시하는 강력한 지표가 된다.

TERMINATOR는 이러한 내부 상태의 변화를 포착하기 위해 모델의 마지막 레이어 은닉 상태를 입력받는 작은 이진 분류기를 학습시킨다. 이 분류기는 각 토큰 생성 시점마다 '지금 멈춰도 되는가'를 판단하며, 슬라이딩 윈도우 기반의 다수결 방식을 통해 노이즈를 제거하고 최적의 타이밍에 추론을 강제 종료시킨다.

전체 방법론은 데이터 큐레이션과 모델 학습, 그리고 추론 제어의 세 단계로 구성된다. 먼저 Hindsight-optimal reasoning length (HORL) 데이터를 구축하기 위해 'Extract-Identify-Verify' 파이프라인을 사용한다. [전체 CoT와 최종 답변 입력 → LRM이 정답이 처음 등장한 텍스트 구간 식별 → 해당 구간의 토큰 인덱스 추출 → 최적 탈출 지점 레이블 생성] 과정을 거쳐 수만 개의 고품질 학습 데이터를 확보한다.

학습 단계에서는 TERMINATOR라는 이진 분류 프로브를 구성한다. LRM의 마지막 Transformer 블록 가중치를 복사하여 초기화한 후, 그 위에 이진 분류 헤드를 추가한다. [각 토큰 위치의 은닉 상태 입력 → Transformer 블록 연산 → 시그모이드 활성화 함수 통과 → 0(계속) 또는 1(종료) 확률 출력] 구조를 가지며, 클래스 불균형을 해소하기 위해 역빈도 가중치를 적용한 Binary Cross-Entropy Loss로 최적화한다.

실제 추론 시에는 슬라이딩 윈도우(크기 10)를 활용한 다수결(Majority Voting) 메커니즘을 적용한다. [최근 10개 토큰의 예측 확률값 입력 → 임계값 0.7을 넘는 토큰이 5개 초과인지 확인 → 조건 충족 시 </think> 토큰 강제 주입 → 추론 즉시 종료] 순서로 동작하여 개별 토큰 예측의 오류로 인한 성급한 종료를 방지하고 안정적인 성능을 보장한다.

Qwen3-8B 모델을 사용한 실험에서, MATH-500 데이터셋의 CoT 길이를 54.9% 줄이면서도 정확도는 91.1%에서 90.7%로 단 0.4%p만 하락하는 우수한 성과를 보였다. 이는 기존 SOTA 방법론인 DEER(52.0% 단축, 정확도 79.9%)나 Dynasor(41.0% 단축, 정확도 78.3%)와 비교했을 때 정확도 방어와 효율성 측면 모두에서 압도적인 결과다.

AIME 2025와 HumanEval 벤치마크에서도 각각 29.3%, 30.1%의 토큰 절감률을 기록하며 성능-효율성 파레토 프런티어에서 최상위권을 차지했다. 특히 고난도 추론이 요구되는 AIME 데이터셋에서 타 방법론들이 정확도가 급락하는 것과 달리, TERMINATOR는 높은 정확도를 유지하며 안정적인 조기 종료 성능을 입증했다.

실제 운영 환경을 가정한 지연 시간 분석 결과, vLLM 기반 시스템에서 Qwen3-8B의 평균 응답 시간을 32.68초에서 14.10초로 2배 이상 단축했다. 추가적인 분류 연산으로 인한 오버헤드는 약 7.5%~10.8% 수준이나, 모델 크기가 커질수록 전체 연산량 대비 프로브의 비중이 고정되어 상대적 효율성은 더욱 높아지는 것으로 나타났다.

TERMINATOR는 LRM의 마지막 레이어 은닉 상태 $h_i$를 입력으로 받아 이진 레이블 $b_i$를 예측하는 Binary Probe Classifier이다. 학습 시 클래스 불균형 문제를 해결하기 위해 역빈도 가중치(Inverse Frequency Weighting)를 적용한 Binary Cross-Entropy Loss를 사용한다. [정답 레이블 y와 예측 확률 p 입력 → -y log p - (1-y) log (1-p) 연산 → 클래스별 가중치 곱셈 → 손실값 산출] 과정을 통해 모델이 정답 도출 시점을 정확히 학습하도록 유도한다.

데이터 큐레이션 과정에서 도입된 'Extract-Identify-Verify' 루프는 자동화된 데이터 생성의 신뢰성을 높인다. LRM이 스스로 정답 구간을 찾고(Identify), 해당 구간에 정답이 포함되었는지 재검증(Verify)하며, 실패 시 피드백을 받아 재시도하는 구조를 통해 노이즈가 적은 고품질 HORL 데이터셋을 생성한다. 이는 수동 주석 없이도 수만 개의 학습 데이터를 확보할 수 있게 한다.

Token-Confidence 지표는 상위 K개 토큰의 로그 확률 평균으로 정의되며, 실험 결과 정답 도출 시점에 이 지표가 피크를 찍는 현상은 모델 아키텍처와 데이터셋에 관계없이 일관되게 나타나는 특성임을 확인했다. TERMINATOR는 이 신호를 은닉 상태 수준에서 포착하여, 단순한 확률 임계값 방식보다 훨씬 정교한 종료 시점 예측을 수행한다.