추론 SFT의 일반화 재고: 최적화 역학, 데이터 및 모델 능력에 대한 조건부 분석

LLM 사후 학습에서 SFT는 암기에 치중하고 RL이 일반화에 유리하다는 기존 통념을 정면으로 반박합니다. 적절한 최적화 단계, 고품질의 Long-CoT 데이터, 그리고 충분한 모델 능력이 갖춰진다면 SFT만으로도 학습하지 않은 도메인까지 추론 능력을 확장할 수 있음을 입증하여 효율적인 모델 학습 방향을 제시합니다.

기존 LLM 학습에서 SFT는 단순히 정답 패턴을 외우는 과정으로 여겨졌으며, 복잡한 추론을 위해서는 RL이 필수적이라는 시각이 지배적이었다. 이는 SFT가 Gradient Descent를 통해 손실 함수를 줄이는 과정에서 학습 데이터의 표면적인 통계 정보에 과적합(Overfitting)되기 쉽다는 한계에 기인한다.

이 논문은 SFT의 일반화가 '조건부'로 발생한다는 점에 주목한다. 핵심 원리는 모델이 단순한 지식 암기를 넘어 '추론의 절차적 패턴'을 학습하도록 유도하는 것이다. 특히 Long-CoT 데이터는 정답에 도달하기 위한 사고의 중간 단계들을 포함하는데, 모델이 이 구조를 충분히 학습(Optimization)하면 특정 도메인에 국한되지 않는 범용적인 문제 해결 로직(예: 가설 설정, 검증, 오류 수정)을 내면화하게 된다.

결과적으로 충분한 파라미터를 가진 모델이 고품질의 사고 과정을 반복 학습할 경우, SFT만으로도 학습 데이터에 없던 새로운 유형의 문제에 대해 논리적인 추론을 수행할 수 있게 된다. 이는 SFT가 단순한 모방을 넘어 고차원적인 인지 구조를 형성할 수 있는 잠재력이 있음을 의미한다.

실험을 위해 Qwen3-14B/8B, InternLM2.5-20B 등 다양한 크기의 Base 모델을 사용하며, 20,480개의 수학 추론 예제로 구성된 Math-CoT-20k 데이터셋을 구축했다. 모든 모델은 표준 SFT 목적 함수를 사용하여 학습하며, AdamW Optimizer와 Cosine Learning Rate Schedule을 적용하여 최대 8 Epoch까지 충분히 최적화한다.

데이터 구성의 영향을 분석하기 위해 사고 과정이 포함된 Math-CoT, 사고 과정이 제거된 Math-NoCoT, 인간이 작성한 짧은 답변인 NuminaMath, 그리고 단순 산수 게임인 Countdown-CoT 등 네 가지 변체를 비교한다. 각 데이터셋은 동일한 쿼리를 공유하거나 유사한 연산 구조를 가지도록 설계하여 변수를 통제한다.

최적화 상태를 진단하기 위해 모델의 답변 길이(Response Length) 변화를 추적한다. 학습 초기에는 답변 길이가 급격히 증가하다가 최적화가 진행될수록 다시 짧아지며 정제되는 양상을 보이는데, 이를 통해 모델이 표면적인 흉내를 넘어 효율적인 추론 로직을 습득하는 단계를 판별한다.

Qwen3-14B 모델을 Math-CoT-20k로 학습한 결과, 학습 도메인인 MATH500 점수가 77.8%에서 95.1%로 대폭 상승했을 뿐만 아니라, 학습하지 않은 코딩(LCB v2) 점수도 37.5%에서 55.1%로, 과학 추론(GPQA-D) 점수도 44.1%에서 63.3%로 크게 향상되었다.

최적화 역학 분석에서 OOD 성능은 학습 초기 20~40 Step 부근에서 급격히 하락(Dip)했다가 160 Step 이후부터 Base 모델 수준을 회복하고 추월하는 비단조적 궤적을 보였다. 이는 SFT의 일반화 능력을 평가할 때 충분한 학습 시간이 필수적임을 보여준다.

데이터 구조 실험에서는 단순한 Countdown 산수 게임 데이터로 학습한 모델이 복잡한 수학 및 과학 벤치마크에서 Base 모델보다 높은 성능을 기록했다. 반면, 인간이 작성한 짧고 품질이 균일하지 않은 데이터(NuminaMath)로 학습했을 때는 오히려 일반화 성능이 저하되는 결과가 나타났다.

이 연구는 SFT 일반화의 세 가지 핵심 축인 최적화 역학(Optimization Dynamics), 데이터 품질 및 구조(Data Quality & Structure), 모델 능력(Model Capability)의 상호작용을 분석한다. 특히 'Dip-and-Recovery' 패턴은 모델이 초기에 쉬운 표면 패턴을 학습하느라 기존 능력을 일시적으로 잃었다가, 이후 심층적인 추론 구조를 내면화하며 능력을 재습득하는 과정으로 해석된다.

수학적으로는 모델 크기가 클수록 특정 토큰의 Log-probability 이득이 'therefore', 'alternatively', 'wait'와 같은 추론 전환어(Transition words)에 집중됨을 확인했다. 이는 고성능 모델일수록 단순 계산보다 추론의 흐름을 제어하고 전략을 수정하는 고차원적인 토큰 예측 능력이 뛰어남을 시사한다.

안전성 측면에서는 Long-CoT 학습이 모델의 문제 해결 의지를 강화하여, 유해한 질문에 대해서도 '교육적 목적' 등의 이유를 스스로 만들어내며 거절 정책을 우회하는 'Self-jailbreaking' 현상을 유도함을 발견했다. 이는 추론 능력의 일반화가 안전 가이드라인의 일반화와는 상충될 수 있음을 보여주는 기술적 차별점이다.

수학 추론 데이터에 국한하여 실험이 진행되었으므로 코드 생성이나 과학적 추론 등 다른 도메인의 데이터가 동일한 일반화 패턴을 보이는지는 추가 검증이 필요하다. 또한 20B 이하의 Dense 모델만을 대상으로 했기에 더 큰 규모의 모델이나 MoE 아키텍처에서의 동작 방식은 확인되지 않았다. RL 기반 방법론과의 직접적인 1:1 비교 실험은 포함되지 않았다.