대형 추론 모델의 비판 메커니즘 해독

대형 추론 모델은 CoT의 오류를 수정하는 능력을 보이나, 단순한 backtracking을 넘어서는 은밀한 내부 메커니즘이 존재한다. 이 연구는 arithmetic 오류를 주입한 뒤 모델의 내부 상태를 분석해 hidden critique ability를 확인하고, latent space의 critique vector를 추출하여 모델의 오류 탐지 및 수정 능력을 이해한다. 또한 critique 벡터를 이용한 steerings가 테스트-타임 스케일링과 오류 수정 성능을 무추가 학습 비용으로 향상시킨다는 점을 보인다.

단락 1. 대형 Reasoning Model은 다단계 추론에서 CoT를 유지하는 동안도 오류를 덜 드러내고, 후속 수정이 가능하다고 본다. 그러나 이는 단순 backtracking으로 설명되기 어렵고, 내부적으로 오류를 감지하고 수정하는 능력이 존재할 수 있다. 단락 2. 이 연구는 injected arithmetic error를 CoT의 중간에 주입하고, intervened와 baseline 간의 activation 차를 분석한다. activations 간의 선형 분리 가능성으로 critique vector를 추출하고, 이 벡터가 내부적 비판 메커니즘의 표현임을 가정한다. 단락 3. Logit Lens를 통해 critique vector의 의미를 어휘 차원에서 확인하고, 여러 모델군에서 벡터를 조작하는 steering 실험으로 효과를 검증한다. 또한 test-time scaling에서의 시너지를 입증한다. 단락 4. critique vector를 이용한 steering은 오류 탐지 정확도 및 최종 정답의 정합성을 향상시키며, Wait 토큰 기반의 추론 확장과 상호 보완적으로 작동한다.

1. Intervention 프레임워크: prompt q에서 ⟨think⟩와 ⟨/think⟩ 사이에 CoT를 생성하고, e라는 arithmetic error를 주입한 뒤 c~를 생성한다. 이 과정을 fLRM(q, ⟨think⟩, e) → (˜c, ⟨/think⟩, a˜)로 표현하며, e는 GPT-5의 Perr 프롬프트로 생성한다. GSM8K-Error, MATH500-Error를 구성한다. 2) Latent-space 분석: baseline(c)와 intervened(c, e+˜c) 간의 최종 출력은 동일한 ground-truth y_q를의 여부를 확인하되, 내부 activations h^(ℓ)에서 차이를 계산해 vℓ을 얻는다. 3) Critique-vector 추출: vℓ = (1/|Q_train|) ∑_{q∈Q_train} [hℓ^(intervened)(q) − hℓ^(baseline)(q)]. 4) Steering: hℓ^(steered) = hℓ^(−MLP) + α vℓ를 후속층에 전달한다. 5) Layer 선택: positive(α=1.0)와 negative(α=−1.0) steering의 성능 차이가 가장 큰 middle layer를 최적 레이어로 선정한다. 6) 평가: Error Detection Accuracy, F1를 ProcessBench 및 BIG-Bench Mistake에서 측정하고, test-time scaling(Wait 토큰 반복)과의 상호작용을 분석한다.

• 메인 벤치마크: GSM8K-Error에서 R1 모델은 injected error의 thinking이 잘못되더라도 final answer는 정답으로 회복하는 비율이 55%~78%이며, explicit correction은 6% 미만이다. MATH500-Error에서는 41%~59%의 회복을 관찰한다. Qwen3-4B는 GSM8K-Error에서 42.7%, MATH500-Error에서 81.9%의 재구성 성공을 보이며, 일부 샘플(약 20.1% GSM8K-Error, 10.8% MATH500-Error)에서 CoT를 수정하지 못하고도 최종 정답은 맞는 경우가 있다.
• Steering의 효과: ProcessBench에서 positive steering(α=1.0)은 오류 탐지 정확도를 대략 5% 향상시키고, BIG-Bench Mistake에서도 Qwen3-4B의 오류 탐지 정확도를 4% 향상시킨다. 음수 steering은 성능을 저하시킨다. 전체적으로 스티어링 벡터(vℓ)의 방향은 오류 탐지/수정에 직접적인 영향을 준다.
• Test-time scaling과의 결합: Wait 토큰을 추가하는 비용-집약적 추론과 critique steering은 서로 보완적 관계에 있어, 단일 방법보다 결합 시 성능 향상이 더 크게 나타난다.
• 표준 벤치마크에 대한 이전 벡터의 일반화: GSM8K-Error로 추출된 critique vector가 AIME 계열 등 표준 벤치마크에서도 이득을 주는 경향이 확인되었다. 다만 이와 같이 벡터가 transfer하는 효과는 task와 모델 규모에 따라 차이가 있다.

1. 아키텍처 및 데이터: 모델군으로 Qwen3-4B, DeepSeek-R1(8B, 14B, 32B)을 대상으로 GSM8K-Error, MATH500-Error를 사용하고, xVerify-0.5B-I로 수학 평가를 수행한다. 2) Critique vector 추출: vℓ = (1/|Q_train|) ∑_{q∈Q_train} [hℓ^(intervened)(q) − hℓ^(baseline)(q)]. 3) Steering 메커니즘: hℓ^(steered) = hℓ^(post-MLP) + α vℓ; Logit Lens를 통해 벡터의 의미를 토큰 공간으로 해석한다. 4) 최적 레이어 선택: α=±1.0에서 positive vs negative steering의 성능 차이가 가장 큰 middle layer를 선택한다.