TL;DR
연구는 SFT로 발생한 여러 바람직하지 않은 행동을 훈련문서 기여도 기반으로 찾아 제거하면 행동이 줄어들 것이라는 가정에 대해 실험적으로 반례를 제시했다; 다양한 TDA 방법을 적용해 상위 10% 문서를 제거해도 bold formatting, both-sides framing, liberal-lean, validate-feelings 등 대부분의 행동은 거의 변하지 않았고 단지 refusal 행동만 필터링으로 어느 정도 제어되는 경향을 보였다. 실험은 OLMo-3 mid-train에 rank-64 LoRA로 speed-run SFT를 수행한 조건에서 진행되었고, LLM judge가 비교군 중 가장 나은 성능을 보였으나 대체로 무작위 제거와 큰 차이를 보이지 않았다. 연구진은 이 결과를 모델의 중간훈련 단계에서 이미 형성된 다중 페르소나가 SFT로 인해 '유도'되며 여러 행동이 번들로 학습되는 현상으로 해석했고, 따라서 단순 문서 필터링만으로 특정 행동을 고립해 제거하기 어렵다는 결론을 도출했다.
섹션별 상세
- 학습문서 중에 'feeling/concern'과 'valid'가 동시에 포함된 문서는 0.2% 미만인데도 TDA로 선택한 문서 10%를 제거해도 모델이 'Your feelings are valid'라고 말하는 빈도는 줄어들지 않았다. — 본문 중 실험 결과 서술 및 상단 차트(10% Data Removed, 'Validate Feelings' 패널)
- 거부(refusal) 행동만이 필터링으로 통제 가능한 흔적을 보였고, 이 경우 프로브와 LLM judge가 가장 효과적이었다. — 본문 내 'The only “filterable” behavior' 단락 및 관련 바 차트(거부 패널)
이미지 분석
상단 행의 패널들은 bold formatting, both-sides, ethical frameworks, validate feelings, liberal lean, china-friendly, refusal 등 개별 행동 목표에 대해 Random, Judge, Probe, EK-FAC 기반 제거의 정규화 성능을 비교하며 대부분 패널에서 색상(무작위와 기여도 기반)의 성능 차가 작게 나타난다. 하단 그래프는 양측 제거(LLM judge 기준)에서 제거 비율을 늘릴 때 평가 점수의 변화 경향을 보여주며 Unfiltered와 Base 선을 비교해 TDA 기반 제거가 큰 성능 하락을 유발하지 못함을 시각적으로 전달한다.
여러 행동(targets)에 대해 다양한 TDA 방법으로 학습문서 10%를 제거했을 때의 정규화된 평가 점수를 행동별로 비교한 막대그래프와 점진적 제거 시 평가 점수 변화를 보여주는 시계열 그래프이다.
용어 해설
- Training Data Attribution
- — 모델 출력에 특정 학습 예제가 기여한 정도를 정량화하는 기법으로, 입력-중간 표현-그래디언트 등을 이용해 각 문서가 특정 동작이나 응답에 얼마나 영향을 미쳤는지 추정하며 필터링·디버깅에 사용된다.
- SFT
- — 사람이 작성한 지침형 데이터로 사전학습 모델을 추가 학습시키는 방법으로, 입력-정답 쌍을 통해 모델이 특정 응답 스타일이나 행동을 학습하도록 만들며 행동 변화 실험의 핵심 절차로 쓰인다.
- LoRA
- — 전체 가중치를 동결한 채 저순위 분해 행렬을 추가로 학습하는 파인튜닝 기법으로, rank 조절로 학습 파라미터를 크게 줄이며 빠른 실험과 계산 비용 절감을 가능하게 만든다.
- EKFAC
- — 그래디언트 기반 기여도 계산에 사용되는 근사화 방식으로, 대규모 모델의 해석이나 학습 역학을 추정하기 위해 Fisher 정보 행렬의 근사값을 활용해 개별 데이터 포인트 영향도를 평가한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
