파인튜닝 리버전의 중력적 해석

파인튜닝 후 benign 데이터로의 추가 적응이 안전성 침식을 일으킬 수 있는 근본적 메커니즘을 기하학적 관점에서 규명했다. 연구는 훈련 역사상 초기 대규모 단계가 만든 지배적 행동 영역이 이후 단계에서 얕은 변위로 남아, 나중의 benign 업데이트가 그 영역을 향해 부분적으로 되돌아가는 편향을 유발함을 보였다. 이 관점은 단순한 과적응이나 무작위 변동이 아니라 경로 의존적 최적화 성분이 안전성에 실질적 영향을 준다는 점에서 실무적 완화책 설계에 직접적인 시사점을 제공한다.

문제의 출발점은 훈련 이력 상 초기 대규모 단계(pretraining 및 광범위한 helpful 튜닝)가 광범위하고 강건한 행동 영역을 형성하는 반면, 후기의 정렬(alignment) 또는 특수화 단계는 상대적으로 얕은 변위라는 점이다. 이 비대칭적 훈련 예산(B_P ≫ B_H ≫ B_S ≫ B_T)은 후기의 작은 업데이트가 완전한 대체가 아니라 초기 형성된 영역을 향한 부분적 복원 성분을 동반하게 만든다. 따라서 benign fine-tuning은 단지 downstream 작업 성분만을 따르지 않고 작업 성분과 역사-정의 되돌림 성분의 벡터 합을 따른다.

대표성 측정은 활성화 공간의 평균 잔차 스트림 활성화를 프롬프트 집합 P에 대해 층별로 평균하여 이루어졌다. 출발 체크포인트 θ_S와 downstream 체크포인트 θ_T의 같은 층 평균 차이를 Δ_T로 정의했고, helpful-only 위트니스 θ_H와 θ_S의 차이를 v_rev로 정의해 Δ_T와 v_rev 사이의 코사인을 정렬 지표로 사용했다. 실험은 주 트랙으로 Llama-3.1-8B 기반의 8B 세팅을 사용했고, 위트니스는 LoRA(rank=8, α=16)와 full-FT 각 3시드씩 총 6개를 50스텝 학습해 v_rev의 견고성을 검증했다.

기하학적 결과에서 메인 8B 트랙의 요약층 L*=31에서 위트니스들로부터 계산된 v_rev의 평균 쌍별 코사인은 약 0.82±0.12에 도달했고 참여비율은 약 1.36/6으로 거의 1차원으로 수렴했다. 시간 축에서 Δ_T와 v_rev의 코사인은 T=1에서 0.429±0.052로 이미 유의미한 정렬을 보였고 T=20에서 0.647±0.021로 포화되어 초기 단계에서 되돌림 성분이 빠르게 획득됨이 확인되었다. 행동적 연관성에서는 표현 정렬이 BeaverTails 유해율 변화와 높은 상관을 보였고(스피어만 r=0.877), 인과성 실험에서 v_rev 성분을 억제하는 보조 손실은 코사인과 유해율을 동시에 줄여 이 방향이 행동 결과에 실질적 영향을 미침이 입증되었다.

활성화 기반 객체는 층 ℓ에서 프롬프트 집합 P에 대한 평균 활성화 m_θ(P,ℓ)으로 시작한다. 입력으로 두 체크포인트의 평균 활성화 m_{θ_T}와 m_{θ_S}가 주어지면 이들 차이 Δ_T=m_{θ_T}-m_{θ_S}를 계산해 표현 이동을 얻는다. 이 값의 벡터적 성질을 활용해 Δ_T와 위트니스 기반 방향 v_rev 사이의 코사인 유사도를 층별로 계산했고, 요약층 L*는 거기서 거부(refusal) 방향 크기가 최대인 층을 택해 고정했다.

본 결과는 주로 한 주요 모델 계열과 한 주요 평가자/벤치마크 파이프라인에 의존해 제시되었고, 그로 인해 일반화 범위에 제한이 있다. 개입 실험의 강력한 증거는 초기 단계(T≤100)에서 집중적으로 관찰되었으며 장기적 동역학에 대한 결론을 내리기에는 범위가 제한적이다. helpful-only 위트니스는 실제 manifold의 직접 관찰이 아니라 대리점이며, manifold의 전역적 성질을 복원하는 증거로는 여전히 불충분하다.