TERMINATOR: Chain-of-Thought 추론의 조기 종료를 위한 최적 탈출 지점 학습

왜 중요한가

대형 추론 모델(LRM)은 정답을 찾은 뒤에도 불필요하게 생각을 지속하며 연산 자원을 낭비하는 'Overthinking' 문제를 겪는다. 이 논문은 모델 내부의 신호를 포착해 정답 도출 즉시 추론을 멈추게 함으로써, 정확도는 유지하면서 추론 비용과 시간을 획기적으로 줄이는 실용적인 해결책을 제시한다.

핵심 기여

Hindsight-Optimal Reasoning Length (HORL) 개념 도입

모델이 최종 정답을 내놓기 위해 필요한 최소한의 토큰 길이를 정의하고, 이를 기반으로 조기 종료를 학습시키기 위한 새로운 데이터셋 구축 방법론을 확립했다.

TERMINATOR 이진 분류 프로브 설계

모델의 마지막 레이어 은닉 상태(Hidden States)를 실시간으로 분석하여 정답 도출 여부를 예측하는 경량 분류기를 제안했다. 이는 모델 재학습 없이 추론 시점에 즉시 적용 가능하다.

추론 효율성 및 속도의 획기적 개선

MATH-500, AIME 2025 등 주요 벤치마크에서 CoT 길이를 평균 14%~55% 단축했으며, vLLM 환경에서 추론 지연 시간(Latency)을 2배 이상 줄이는 데 성공했다.

핵심 아이디어 이해하기

Transformer 기반 추론 모델은 사고의 사슬(CoT)을 통해 문제를 해결하지만, 정답 토큰이 생성된 이후에도 시퀀스를 멈추지 못하고 불필요한 검토 과정을 거치는 한계가 있다. 이는 Softmax 확률 분포상에서 정답에 대한 확신이 이미 충분함에도 불구하고, 모델이 '생각을 멈추는 시점'을 명시적으로 학습하지 않았기 때문에 발생한다.

논문은 모델이 정답에 도달하는 순간 내부의 'Token-Confidence'(상위 K개 토큰의 로그 확률 평균)가 급격히 상승했다가 하락하는 스파이크 현상과 'hmm', 'okay' 같은 특정 생각 토큰의 사용 빈도 변화에 주목한다. 이러한 내부 신호들은 모델이 겉으로는 계속 생각하는 척하더라도 내부적으로는 이미 결론에 도달했음을 암시하는 강력한 지표가 된다.

TERMINATOR는 이러한 내부 상태의 변화를 포착하기 위해 모델의 마지막 레이어 은닉 상태를 입력받는 작은 이진 분류기를 학습시킨다. 이 분류기는 각 토큰 생성 시점마다 '지금 멈춰도 되는가'를 판단하며, 슬라이딩 윈도우 기반의 다수결 방식을 통해 노이즈를 제거하고 최적의 타이밍에 추론을 강제 종료시킨다.

방법론

전체 방법론은 데이터 큐레이션과 모델 학습, 그리고 추론 제어의 세 단계로 구성된다. 먼저 Hindsight-optimal reasoning length (HORL) 데이터를 구축하기 위해 'Extract-Identify-Verify' 파이프라인을 사용한다. [전체 CoT와 최종 답변 입력 → LRM이 정답이 처음 등장한 텍스트 구간 식별 → 해당 구간의 토큰 인덱스 추출 → 최적 탈출 지점 레이블 생성] 과정을 거쳐 수만 개의 고품질 학습 데이터를 확보한다.

학습 단계에서는 TERMINATOR라는 이진 분류 프로브를 구성한다. LRM의 마지막 Transformer 블록 가중치를 복사하여 초기화한 후, 그 위에 이진 분류 헤드를 추가한다. [각 토큰 위치의 은닉 상태 입력 → Transformer 블록 연산 → 시그모이드 활성화 함수 통과 → 0(계속) 또는 1(종료) 확률 출력] 구조를 가지며, 클래스 불균형을 해소하기 위해 역빈도 가중치를 적용한 Binary Cross-Entropy Loss로 최적화한다.

실제 추론 시에는 슬라이딩 윈도우(크기 10)를 활용한 다수결(Majority Voting) 메커니즘을 적용한다. [최근 10개 토큰의 예측 확률값 입력 → 임계값 0.7을 넘는 토큰이 5개 초과인지 확인 → 조건 충족 시 토큰 강제 주입 → 추론 즉시 종료] 순서로 동작하여 개별 토큰 예측의 오류로 인한 성급한 종료를 방지하고 안정적인 성능을 보장한다.

주요 결과

Qwen3-8B 모델을 사용한 실험에서, MATH-500 데이터셋의 CoT 길이를 54.9% 줄이면서도 정확도는 91.1%에서 90.7%로 단 0.4%p만 하락하는 우수한 성과를 보였다. 이는 기존 SOTA 방법론인 DEER(52.0% 단축, 정확도 79.9%)나 Dynasor(41.0% 단축, 정확도 78.3%)와 비교했을 때 정확도 방어와 효율성 측면 모두에서 압도적인 결과다.

AIME 2025와 HumanEval 벤치마크에서도 각각 29.3%, 30.1%의 토큰 절감률을 기록하며 성능-효율성 파레토 프런티어에서 최상위권을 차지했다. 특히 고난도 추론이 요구되는 AIME 데이터셋에서 타 방법론들이 정확도가 급락하는 것과 달리, TERMINATOR는 높은 정확도를 유지하며 안정적인 조기 종료 성능을 입증했다.

실제 운영 환경을 가정한 지연 시간 분석 결과, vLLM 기반 시스템에서 Qwen3-8B의 평균 응답 시간을 32.68초에서 14.10초로 2배 이상 단축했다. 추가적인 분류 연산으로 인한 오버헤드는 약 7.5%~10.8% 수준이나, 모델 크기가 커질수록 전체 연산량 대비 프로브의 비중이 고정되어 상대적 효율성은 더욱 높아지는 것으로 나타났다.

기술 상세

TERMINATOR는 LRM의 마지막 레이어 은닉 상태 $h_i$ 를 입력으로 받아 이진 레이블 $b_i$ 를 예측하는 Binary Probe Classifier이다. 학습 시 클래스 불균형 문제를 해결하기 위해 역빈도 가중치(Inverse Frequency Weighting)를 적용한 Binary Cross-Entropy Loss를 사용한다. [정답 레이블 y와 예측 확률 p 입력 → -y log p - (1-y) log (1-p) 연산 → 클래스별 가중치 곱셈 → 손실값 산출] 과정을 통해 모델이 정답 도출 시점을 정확히 학습하도록 유도한다.

데이터 큐레이션 과정에서 도입된 'Extract-Identify-Verify' 루프는 자동화된 데이터 생성의 신뢰성을 높인다. LRM이 스스로 정답 구간을 찾고(Identify), 해당 구간에 정답이 포함되었는지 재검증(Verify)하며, 실패 시 피드백을 받아 재시도하는 구조를 통해 노이즈가 적은 고품질 HORL 데이터셋을 생성한다. 이는 수동 주석 없이도 수만 개의 학습 데이터를 확보할 수 있게 한다.

Token-Confidence 지표는 상위 K개 토큰의 로그 확률 평균으로 정의되며, 실험 결과 정답 도출 시점에 이 지표가 피크를 찍는 현상은 모델 아키텍처와 데이터셋에 관계없이 일관되게 나타나는 특성임을 확인했다. TERMINATOR는 이 신호를 은닉 상태 수준에서 포착하여, 단순한 확률 임계값 방식보다 훨씬 정교한 종료 시점 예측을 수행한다.

실무 활용

추론 비용이 높은 LRM 서비스의 운영 비용을 획기적으로 줄일 수 있는 즉시 적용 가능한 기술이다. 별도의 모델 재학습 없이 추론 엔진에 작은 프로브 레이어만 추가하여 구현할 수 있다.

실시간 대화형 AI 서비스의 응답 대기 시간(Latency) 단축
API 호출 기반 LLM 서비스의 토큰 사용량 및 비용 최적화
제한된 하드웨어 자원을 가진 Edge 디바이스에서의 고성능 추론 구현
수학, 코딩 등 긴 추론 과정이 필요한 전문 도메인 챗봇의 효율성 개선

코드 공개 여부: 비공개

키워드

CoT(사고의 사슬)LRM(대형 추론 모델)Early-Stopping(조기 종료)Overthinking(과잉 사고)Inference-Optimization(추론 최적화)

용어 해설

사고의 사슬(Chain-of-Thought): — 모델이 최종 답변에 도달하기 전 중간 추론 단계를 생성하도록 유도하는 기법이다. 복잡한 논리적 문제를 해결하는 능력을 높여주지만, 정답 도출 후에도 불필요한 추론을 이어가는 비용 문제가 발생한다.
과잉 사고(Overthinking): — 추론 모델이 이미 올바른 정답을 생성했음에도 불구하고, 이를 검토하거나 다른 대안을 찾기 위해 수천 개의 토큰을 추가로 생성하며 연산 자원을 낭비하는 현상이다.
은닉 상태(Hidden States): — 신경망 내부 레이어를 통과하며 생성되는 수치적 벡터 표현이다. 모델이 입력 데이터를 처리하며 파악한 추상적인 정보와 맥락을 담고 있어, 특정 시점의 모델 상태를 분석하는 용도로 쓰인다.
파레토 프런티어(Pareto Frontier): — 여러 목표(예: 정확도와 효율성) 사이의 최적의 상충 관계를 나타내는 지점들의 집합이다. 어느 한 목표를 희생하지 않고는 다른 목표를 개선할 수 없는 최선의 상태를 의미한다.

TERMINATOR: Chain-of-Thought 추론의 조기 종료를 위한 최적 탈출 지점 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

토큰 예산 인지형 LLM 추론

시간적 신뢰도로 병렬 추론 비용 줄이기

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

토큰 예산 인지형 LLM 추론

시간적 신뢰도로 병렬 추론 비용 줄이기

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택