Self-Distilled Reasoning(SDR)를 이용한 SFT 맞춤화에서의 추론 토큰 생성

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

SFT 데이터에 고품질 CoT가 없으면 모델의 추론 능력이 심각하게 약화되는 사례가 관찰되어 이를 해결하기 위한 방법으로 Self-Distilled Reasoning(SDR)을 제안했다. SDR은 베이스 Amazon Nova 2 Lite가 생성한 chain-of-thought 토큰을 SFT 데이터에 증강하여 별도의 교사나 인간 주석 없이 모델 자신으로부터 추론 신호를 재주입하는 방식으로 작동하며 세 가지 벤치마크에서 검증되었다. 실험에서 vanilla SFT는 Math 성능을 평균 70%에서 6%로 급락시켰으나 SDR 적용 시 해당 성능을 거의 회복했고, model merging보다 목표 성능과 일반 성능을 동시에 더 잘 보존하거나 개선하는 결과가 보고되었다. 따라서 CoT가 없는 현실적 SFT 데이터에 대해 비용과 주석 부담 없이 추론 능력을 유지하면서 도메인 맞춤화를 수행할 수 있는 실용적 대안이 제시되었다.

섹션별 상세

지도형 파인튜닝(SFT)은 입력-출력 쌍만으로 학습할 경우 체계적 추론 능력이 억제될 수 있다는 문제를 직면하며, 특히 CoT가 없는 데이터로 SFT를 수행하면 모델이 이전에 획득한 추론 성능을 잃는 양상이 관찰된다. 본문에서는 이러한 현상을 'reasoning suppression'으로 규정하고, SFT가 어떻게 입력·출력만으로 학습될 때 중간 논리 흐름 신호를 상실하는지 서술한다. 구체적으로 vanilla SFT에서는 베이스의 Math 성능이 평균 70%에서 6%로 급락하는 실험 결과가 제시되어 문제의 심각성이 수치로 입증되었다. 따라서 CoT 부재 데이터에 대한 보완 기법이 SFT 맞춤화의 핵심 요구사항으로 제기되었다.

Self-Distilled Reasoning(SDR)는 베이스 Amazon Nova 2 Lite 모델이 생성한 chain-of-thought를 SFT 학습 데이터에 증강하여 모델 자체의 추론 흔적을 재주입하는 방식으로 동작한다. 구체적으로 입력에 대해 베이스 모델이 출력한 CoT 토큰을 동일한 입력의 학습 신호로 추가하고, 이 확장된 쌍으로 SFT를 수행함으로써 학습 중에 자기모델의 추론 패턴을 규제 신호로 활용한다. 본문에서는 SDR이 별도의 교사 모델이나 사람 주석을 요구하지 않으며 세 가지 벤치마크에서 검증되었다고 기술되어 적용 범위와 실행 난이도가 낮음을 근거로 제시한다. 이 접근법은 CoT가 없는 기존 데이터셋에도 바로 적용 가능하므로 실무적 이점이 크다.

실험 결과는 SDR이 파괴적 망각을 크게 완화한다는 점을 보여주었다. 본문에서는 vanilla SFT로 인해 Math 성능이 70%에서 평균 6%로 떨어진 반면 SDR을 적용하면 해당 성능을 거의 완전히 회복했다고 명시하고, SDR 적용 시 math 성능이 약 70%로 유지되는 반면 model merging과 비교해도 유사하거나 더 나은 일반 성능을 보였다고 기술되어 있다. 또한 SDR은 target 성능을 포기하지 않으면서도 보존 효과를 달성했으며 본문에서는 target 성능이 모델 병합 대비 6.5% 이상 개선된 사례를 제시하여 실험적 유효성을 뒷받침한다. 이러한 결과는 SFT 맞춤화에서 성능 보존과 목표 최적화라는 두 과제를 동시에 해결할 수 있음을 시사한다.

모델 병합(model merging)은 SFT 체크포인트와 베이스 모델을 결합하여 이전 능력을 회복하려는 기존 솔루션이지만, 본문에서는 병합이 SFT에서 얻은 이득을 포기하게 만들고 목표 성능과 일반 성능 사이에서 명확한 트레이드오프를 유발한다고 보고되었다. 반면 SDR은 훈련 중 데이터 증강 방식으로 베이스의 CoT를 재사용하여 후속 병합이나 후처리 보간이 필요 없고, 결과적으로 목표 성능 유지와 일반 성능 보존을 동시에 달성하는 사례가 제시되었다. 이 기법은 추가 인적 주석을 요구하지 않으므로 비용·운영 리스크 측면에서 우위가 있으며, 도메인별 맞춤화 파이프라인에 손쉽게 통합할 수 있다는 실용적 의미가 있다.

이미지 분석

Diagram
그래프는 vanilla SFT가 목표 성능을 얻는 동안 일반 성능을 크게 손실하는 반면 모델 병합은 손실을 일부 회복하지만 목표 성능 이득을 포기하는 경향을 보여준다. SDR은 목표 성능을 유지하거나 개선하면서도 일반 성능을 대부분 보존하는 영역에 위치하여 본문의 주장과 실험 결과를 시각적으로 보완한다. 이 이미지는 방법 간의 성능 트레이드오프와 SDR의 균형적 이점을 직관적으로 전달한다.
베이스, vanilla SFT, 모델 병합, SDR의 target 성능과 일반 성능 간 트레이드오프를 나타내는 도식적 비교 그래프이다.

용어 해설

사고 과정 서술(Chain-of-Thought)(Chain-of-Thought (CoT)): — 모델이 중간 추론 단계를 텍스트로 출력하여 복잡한 문제 해결 과정을 노출하는 기법으로, 입력에서 출력까지의 중간 논리흐름을 학습 데이터에 포함하면 문제 해결 능력이 향상된다. SFT에서 golden CoT가 있으면 모델이 난해한 수학·코딩 문제를 더 잘 푼다는 점이 핵심이다.
지도형 파인튜닝(Supervised Fine-Tuning (SFT)): — 사전학습된 모델을 입력과 정답(또는 정답과 연계된 흔적) 쌍으로 추가 학습시키는 과정으로, 학습 데이터에 포함된 형식과 품질이 결과 성능에 직접적 영향을 준다. CoT가 누락된 데이터로 SFT를 수행하면 추론 능력 억제가 발생할 수 있다.
자기 증류(Self-Distillation): — 동일한 모델 또는 모델 계열의 출력(또는 내부 표현)을 학습 신호로 다시 사용하는 방법으로, 외부 교사 없이 모델의 지식을 재주입하여 학습 중 규제 효과를 얻는다. 본문에서는 베이스 모델의 CoT를 재생성하여 SFT 데이터에 증강하는 방식으로 적용되었다.
모델 병합(Model Merging): — SFT로 얻은 가중치와 원래의 베이스 모델을 어떤 방식으로든 결합하여 이전에 획득한 능력을 회복하려는 전략으로, 병합 방식에 따라 SFT에서 얻은 이득 일부를 포기할 위험이 존재한다. 본문에서는 병합이 target 성능과 일반 성능 사이의 트레이드오프를 초래한다고 보고되었다.
파괴적 망각(Catastrophic Forgetting): — 새로운 데이터로 추가 학습을 진행할 때 모델이 이전에 학습한 능력을 급격히 잃는 현상으로, 특정 도메인에 특화된 SFT가 수학과 같은 기존 능력을 거의 소실할 수 있다는 실험적 증거가 본문에 제시되었다. 이를 완화하는 방법이 연구의 주요 목적이었다.

기술

Amazon Nova 2
Amazon Nova 2 Lite
SFT
RFT

활용 사례

CoT가 없는 기존 SFT 데이터셋에 추론 토큰을 보강하여 도메인 맞춤화 수행
수학·코딩 등 고난도 문제에서 베이스 모델의 추론능력 보존
인적 라벨링 없이 비용 절감형 SFT 파이프라인 운영