서지컬 포스트 트레이닝: 지식은 유지하고 오류만 도려내기

LLM을 특정 분야에 맞춰 학습시킬 때 기존 지식을 잊어버리는 '파괴적 망각' 문제를 획기적으로 해결했다. 모델의 원래 답변을 최소한으로 수정하는 '수술적' 데이터 교정과 보상 기반 이진 분류를 결합하여, 매우 적은 데이터와 시간으로도 고성능 추론 모델을 만들 수 있는 효율적인 길을 열었다.

LLM을 수학이나 코딩 같은 특정 작업에 맞춰 파인튜닝할 때, 보통 정답 데이터만 학습시키는 SFT를 사용한다. 하지만 SFT는 모델이 이미 잘 아는 일반 상식까지 강제로 업데이트하게 만들어 기존 지식을 잊어버리는 파괴적 망각을 초래한다. 이는 SFT가 정답 확률을 무조건 1.0으로 밀어붙이는 강한 압력을 가하기 때문이다.

SPOT은 이 문제를 해결하기 위해 '고무줄(Elastic Tether)' 같은 제동 장치를 도입한다. DPO와 같은 보상 기반 학습은 모델이 참조 모델에서 너무 멀어지려 하면 학습 강도를 자동으로 줄이는 특성이 있다. SPOT은 이를 활용해 모델이 정답을 맞히는 법을 배우되, 원래 알고 있던 지식 영역에서는 변화를 최소화하도록 설계되었다.

또한 데이터 측면에서도 모델의 원래 말투나 구조를 그대로 유지하면서 틀린 논리 단계만 수술하듯 고친 데이터를 사용한다. 이를 통해 모델은 급격한 변화 없이도 자신의 오류만 정확히 수정하는 법을 배우게 되며, 결과적으로 적은 학습량으로도 높은 일반화 성능을 얻게 된다.

데이터 교정 파이프라인은 Error Elicitation, Oracle-Guided Surgical Rectification, LCS Filtering의 3단계로 구성된다. 먼저 모델의 오답($y^-$)을 수집하고, Oracle이 이를 최소한으로 수정하여 정답($y^+$)을 만든다. 이후 Longest Common Subsequence(LCS)를 기반으로 변화율($R_{LCS}$)을 계산하여 원본과 너무 다른 데이터는 필터링함으로써 모델의 원래 분포에 근접한 데이터만 남긴다.

학습 목적 함수는 DPO의 상대적 순위 비교 대신 이진 교차 엔트로피(BCE)를 기반으로 한 SPOT-BCO를 사용한다. 보상 함수 $r_\theta(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)}$를 입력으로 받아 정답에 대한 확신은 높이고 오답에 대한 확신은 낮추는 독립적인 감독 신호를 제공한다.

SPOT-BCO는 적응형 보상 이동 계수 $\delta$를 도입한다. $\delta = \frac{1}{2} E[r_\theta(x, y^+) + r_\theta(x, y^-)]$로 계산되며 학습이 진행됨에 따라 보상 값이 커져서 발생하는 그래디언트 소실 문제를 방지한다. 이는 모델이 복잡한 문제에서도 계속해서 학습 동력을 유지할 수 있게 돕는다.

Qwen3-8B 모델을 4,000개의 수학 데이터로 학습시킨 결과, AIME24 및 Math500 등 인도메인 추론 작업에서 평균 5.3%의 성능 향상을 기록했다. 특히 OOD 작업인 Connect4 게임 벤치마크에서는 성능이 11.5% 급증하며 강력한 일반화 능력을 보여주었다.

지식 보존 측면에서 IFEval 점수를 측정한 결과, 일반적인 SFT+ 방식은 점수가 3.0점 하락한 반면 SPOT은 오히려 1.8점 상승하며 파괴적 망각 문제를 해결했음이 확인됐다. 효율성 분석 결과 8개의 H800 GPU 환경에서 단 28분 만에 학습이 완료되었으며, 이는 대규모 롤아웃이 필요한 기존 강화학습 방식보다 수십 배 이상 빠른 속도이다.

SPOT의 핵심은 Elastic Tether 메커니즘이다. Reward-SFT의 그래디언트 식에서 동적 스케일링 계수 $\lambda = 1-\sigma(r_\theta)$가 자동 조절기 역할을 한다. 모델이 정답을 충분히 학습하여 $r_\theta$가 커지면 $\lambda$가 0에 수렴하며 업데이트를 중단시키는 Early Stopping 효과가 발생한다.

기존 DPO는 정답과 오답의 상대적 차이만 벌리려 하므로 정답의 절대적인 확률이 낮아지더라도 오답이 더 빨리 낮아지면 손실 함수가 줄어드는 한계가 있다. SPOT-BCO는 이를 독립적인 이진 분류 문제로 재정의하여 정답 로직을 직접 강화하고 오답을 억제한다.

이론적으로 SPOT-BCO의 $\delta$ 항은 다루기 힘든 Partition Function인 $\beta \log Z(x)$의 근사치 역할을 수행한다. 이를 통해 DPO가 생략했던 정규화 항을 효과적으로 복원하여 학습의 안정성을 높이고 인도메인 성능을 극대화한다.

현재 SPOT은 교정을 위해 Oracle(인간 또는 고성능 모델)에 의존한다. 향후 연구에서는 Oracle 없이 모델 스스로 오류를 교정하는 자가 개선 메커니즘과의 결합이 필요하다.