가치 드리프트: LLM 사후 학습 과정에서의 가치 정렬 추적

섹션별 상세

기존 연구들이 최종 학습된 모델의 정렬 상태 평가에 집중한 반면, 본 연구는 학습 역학(training dynamics) 관점에서 가치 습득 과정을 추적했다. SFT와 선호도 최적화 알고리즘 및 데이터셋의 효과를 분리하여 가치 드리프트의 규모와 발생 시점을 측정했다. 이를 통해 모델이 학습 과정 중 어느 지점에서 인간의 가치 체계를 내면화하는지 정밀하게 분석했다.

Llama-3 및 Qwen-3 모델을 활용한 실험에서 모델의 가치 체계는 주로 SFT 단계에서 구축된다는 사실이 밝혀졌다. SFT 데이터셋을 통해 주입된 가치는 모델의 기초적인 판단 기준이 되며, 이후 단계인 선호도 최적화는 이를 미세하게 조정할 뿐 근본적인 가치관을 다시 정렬하는 효과는 미미했다. 이는 초기 미세 조정 단계에서 사용되는 데이터의 질과 방향성이 최종 모델의 윤리적 성향을 결정짓는 핵심 요소임을 의미한다.

통제된 환경을 위해 구축된 합성 선호도 데이터셋 실험을 통해 알고리즘 자체의 영향력을 분석했다. 선호도 데이터를 동일하게 유지하더라도 선택한 최적화 알고리즘의 종류에 따라 최종적인 가치 정렬 결과가 상이하게 나타나는 현상을 관찰했다. 이는 데이터뿐만 아니라 알고리즘의 수학적 특성이 모델의 가치 내면화 방식에 직접적인 영향을 미친다는 점을 시사한다.

사후 학습 과정에서 가치가 학습되는 방식을 이해함으로써 더 안전하고 정렬된 AI 시스템 구축을 위한 실무적 통찰을 제공한다. 특히 특정 가치관을 명확히 투영해야 하는 특수 목적 모델 개발 시 SFT 단계의 전략적 중요성을 뒷받침한다. 연구 결과는 데이터 큐레이션과 알고리즘 선택이 상호작용하여 최종적인 가치 정렬 상태를 결정함을 보여준다.

기술

Llama-3
Qwen-3
SFT

활용 사례

안전한 AI 모델 개발
특정 도메인 가치 주입
학습 효율 최적화

언급된 리소스

논문Value Drifts: Tracing Value Alignment During LLM Post-Training