데이터 필터링은 기대만큼 행동을 고치지 못했다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

연구는 SFT로 발생한 여러 바람직하지 않은 행동을 훈련문서 기여도 기반으로 찾아 제거하면 행동이 줄어들 것이라는 가정에 대해 실험적으로 반례를 제시했다; 다양한 TDA 방법을 적용해 상위 10% 문서를 제거해도 bold formatting, both-sides framing, liberal-lean, validate-feelings 등 대부분의 행동은 거의 변하지 않았고 단지 refusal 행동만 필터링으로 어느 정도 제어되는 경향을 보였다. 실험은 OLMo-3 mid-train에 rank-64 LoRA로 speed-run SFT를 수행한 조건에서 진행되었고, LLM judge가 비교군 중 가장 나은 성능을 보였으나 대체로 무작위 제거와 큰 차이를 보이지 않았다. 연구진은 이 결과를 모델의 중간훈련 단계에서 이미 형성된 다중 페르소나가 SFT로 인해 '유도'되며 여러 행동이 번들로 학습되는 현상으로 해석했고, 따라서 단순 문서 필터링만으로 특정 행동을 고립해 제거하기 어렵다는 결론을 도출했다.

섹션별 상세

01

연구의 주된 관찰은 특정 바람직하지 않은 SFT 행동을 유발한 학습문서를 찾아 제거하려는 시도가 대부분의 행동에서 거의 효과가 없었다는 점이다. 입력 데이터에서 해당 특성 단어가 아주 드물게 나타나더라도(예: “feeling/concern”과 “valid”가 동시에 등장하는 문서는 0.2% 미만) 학습 데이터 중 상위 10%를 제거한 실험에서 모델의 출력 빈도가 실질적으로 줄어들지 않았다. 이 결과는 개별 문서 제거가 행동 변화에 미치는 영향이 기대보다 약하다는 실험적 근거를 제공하며 데이터 기반 통제 전략의 한계를 시사한다.

02

여러 종류의 훈련 데이터 기여도 평가(TDA) 기법을 비교했는데, LLM 기반 평가자(LLM judge), 프로브, 활성화 기반 방법, 그리고 그래디언트 근사 방식인 EKFAC 등을 포함한 방법들이 대부분의 행동 목표에서 무작위 제거에 비해 우수하지 않았다. 실험은 OLMo-3 mid-train 기반의 speed-run SFT 설정에서 rank-64 LoRA로 미드트레인 모델을 파인튜닝하는 방식으로 진행되었고, 이 실험적 조건 하에서 LLM judge가 최상 성능을 보였으며 프로브가 비용 대비 효율이 높았다. 이 비교 결과는 복수의 TDA 접근법이 실제 행동 제어에는 제한적이라는 실험적 증거를 제공한다.

03

예외적으로 거부(refusal) 행동은 필터링으로 어느 정도 제어 가능한 것으로 관찰되었고, 이 영역에서는 프로브와 LLM judge가 상대적으로 효과적이었다는 결과가 나타났다. 실험에서 거부 행동에 한해 특정 기여도 기반 제거가 무작위 제거보다 유의미한 성능 차이를 보였고, 비용과 성능을 고려할 때 프로브가 실험적 대안으로 현실적이라는 결론이 도출됐다. 이는 모든 행동이 동일하게 데이터 제거로 수정될 수 있는 것은 아니라는 점과 일부 행동은 TDA로 조절 가능하다는 실증적 분리 관점을 제시한다.

04

연구진은 필터링 비효율의 원인으로 모델의 사전 및 중간훈련 단계에서 이미 다양한 ‘assistant persona’들이 형성되어 있으며, SFT는 이러한 페르소나를 불러내는(elicit) 역할을 더 많이 한다는 가설을 제시했다. 페르소나가 여러 행동 특성을 묶어 포함할 경우 일부 특성만 포함된 데이터로 훈련해도 관련된 다른 특성들이 함께 학습될 수 있고, 따라서 특정 행동을 고립적으로 제거하기 어렵다는 논리적 설명이 제안되었다. 또한 제한된 계산 자원으로 수행한 speed-run 설정에서도 좁은 데이터 서브셋(예: 코딩 문제만)으로 훈련해도 자유롭게 기대되는 여러 assistant-like 행동이 재현된 점이 이 가설을 뒷받침했다.

이미지 분석

Chart
상단 행의 패널들은 bold formatting, both-sides, ethical frameworks, validate feelings, liberal lean, china-friendly, refusal 등 개별 행동 목표에 대해 Random, Judge, Probe, EK-FAC 기반 제거의 정규화 성능을 비교하며 대부분 패널에서 색상(무작위와 기여도 기반)의 성능 차가 작게 나타난다. 하단 그래프는 양측 제거(LLM judge 기준)에서 제거 비율을 늘릴 때 평가 점수의 변화 경향을 보여주며 Unfiltered와 Base 선을 비교해 TDA 기반 제거가 큰 성능 하락을 유발하지 못함을 시각적으로 전달한다.
여러 행동(targets)에 대해 다양한 TDA 방법으로 학습문서 10%를 제거했을 때의 정규화된 평가 점수를 행동별로 비교한 막대그래프와 점진적 제거 시 평가 점수 변화를 보여주는 시계열 그래프이다.

용어 해설

학습 데이터 기여도 평가(Training Data Attribution): — 모델 출력에 특정 학습 예제가 기여한 정도를 정량화하는 기법으로, 입력-중간 표현-그래디언트 등을 이용해 각 문서가 특정 동작이나 응답에 얼마나 영향을 미쳤는지 추정하며 필터링·디버깅에 사용된다.
지도적 파인튜닝(SFT): — 사람이 작성한 지침형 데이터로 사전학습 모델을 추가 학습시키는 방법으로, 입력-정답 쌍을 통해 모델이 특정 응답 스타일이나 행동을 학습하도록 만들며 행동 변화 실험의 핵심 절차로 쓰인다.
LoRA: — 전체 가중치를 동결한 채 저순위 분해 행렬을 추가로 학습하는 파인튜닝 기법으로, rank 조절로 학습 파라미터를 크게 줄이며 빠른 실험과 계산 비용 절감을 가능하게 만든다.
EKFAC: — 그래디언트 기반 기여도 계산에 사용되는 근사화 방식으로, 대규모 모델의 해석이나 학습 역학을 추정하기 위해 Fisher 정보 행렬의 근사값을 활용해 개별 데이터 포인트 영향도를 평가한다.

기술

LoRA
EKFAC
LLM judge
probe

활용 사례

SFT 기반 모델 행동 제어 실험
학습 데이터 정제 및 필터링 전략 평가
행동별 데이터 영향도 평가