WARP: 가중치 공간 분석을 통한 학습 데이터 포트폴리오 복원

왜 중요한가

공개된 모델 가중치만으로 학습에 사용된 도메인 혼합 비율을 복원하면 데이터 공개의 부재로 인한 접근 비대칭을 줄일 수 있다. 이는 모델 행동의 원인을 추적하고 데이터 오염이나 능력 편향을 감사하는 데 직접적 근거를 제공한다. 실험에서 WARP는 실무에서 흔히 공개되는 두 엔드포인트만으로도 높은 복원 정확도를 보였다.

핵심 기여

종단점만으로 학습 혼합을 복원하는 정식화

논문은 기준 모델 파라미터와 파인튜닝된 최종 파라미터라는 두 엔드포인트만 주어졌을 때 도메인 혼합 π⋆를 복원하는 문제를 수학적으로 정의했다. 복원 문제는 probing 데이터 S에서 샘플을 얻을 수 있다는 현실적 가정을 포함하며 이 가정 하에서의 복원 가능성을 분석 대상으로 삼았다. 이 정식화은 기존의 샘플 수준 membership inference와 달리 전역적 도메인 비율 회수를 목표로 한다.

모델 병합으로 의사 학습 경로를 생성하는 방법 제안

기존에 공개된 중간 체크포인트가 없을 때 LERP, SLERP, TIES 같은 model merging 연산으로 기준과 최종 가중치 사이에 T개의 pseudo-checkpoint를 보간해 가상 학습 경로를 구성했다. 각 의사 체크포인트는 학습 진행도의 정규화된 지표 α_t에 대응하며 초기 상태에서 최종 상태로의 연속적 변화로 취급된다. 이 절차는 실제 학습 경로에 접근하지 못하는 현실적 제약을 우회해 가중치 공간 정보를 추출할 수 있게 했다.

가중치 공간에서 도메인별 정렬 신호를 추출하는 기법

각 의사 체크포인트에서 도메인별로 probing 샘플의 음수 기울기를 목표 방향 벡터 v_t=θ_ref−θ̃_t에 투사해 Mimic Score m_{i,t}를 계산했다. 단계별 점수에 대해 min-max 정규화를 수행한 뒤 도메인 단위로 평균해 M∈R^{K×T} 형태의 footprint 행렬을 구성했다. 이 행렬은 도메인이 학습 경로의 어느 시점에서 얼마나 강하게 모델을 밀었는지를 시간축으로 기록하는 분포적 흔적이다.

무감독 소프트맥스 및 감독형 MLP로 기하학적 특징을 혼합 비율로 투영

footprint 행렬 M을 시간 평균 후 온도 τ를 적용한 소프트맥스(readout)로 바로 변환하는 무감독 방식과, 합성 혼합을 생성해 M↦π 매핑을 학습하는 2-layer MLP 감독 방식을 제시했다. 무감독 소프트맥스는 레이블 없이도 빠르게 추정 가능했고 감독형 MLP는 전체 시간축 정보를 활용해 더 높은 복원 정확도를 달성했다. 합성 쌍은 저비용의 짧은 fine-tune으로 대량 생성할 수 있어 실용적 데이터 생성 루틴을 제공했다.

핵심 아이디어 이해하기

문제 출발점은 공개된 모델 가중치가 학습 이력의 흔적을 담고 있다는 관찰이다. 기울기와 파라미터 변화는 학습 데이터의 통계적 영향력을 가중치 공간의 방향성으로 표상하므로, 두 엔드포인트 사이를 살펴보면 데이터 포트폴리오의 분포적 신호를 포착할 수 있다. 기존의 membership inference는 개별 샘플 존재 여부를 판정할 뿐이고 전역적 도메인 비율을 회복하지 못했다. 이 논문은 중간 체크포인트가 없을 때에도 model merging으로 가상 경로를 구성하면 weight-space에서 유의미한 기하학적 패턴이 생성된다고 보았다. 구체적으로 기준 θ_base와 파인튜닝된 θ_ref를 보간해 θ̃_t를 만들고 각 θ̃_t에서 v_t=θ_ref−θ̃_t를 목표 방향으로 삼아 probing 샘플 기울기의 음수값을 이 방향으로 투사하면 샘플 정렬 점수 m_{i,t}을 얻는다. 이 점수들이 도메인별로 누적·정규화될 때 도메인 영향력의 시간적 궤적 M이 형성된다. 마지막 단계는 이 기하학적 지문 M을 도메인 혼합 π로 변환하는 문제이다. 시간 평균된 행별 값에 softmax를 적용하는 간단한 무감독 리드아웃은 적은 비용으로도 경쟁력 있는 추정치를 제공했고, 합성 혼합-발자국 쌍으로 학습한 MLP는 전체 시간축의 특징을 활용해 더 정확한 예측을 냈다. 이 접근은 실험에서 BERT와 GPT-2-Small에 대해 낮은 MAE를 달성해 기하학적 접근의 실효성을 입증했다.

방법론

전체 접근은 세 단계로 이루어졌다. 첫 단계에서는 기준 모델 θ_base와 파인튜닝된 θ_ref만을 입력으로 받는 제약 하에서 model merging 연산 ℳ을 통해 T개의 pseudo-checkpoint θ̃_t를 생성했다. LERP(선형 보간), SLERP(구면 보간), TIES 같은 병합 연산을 평가해 보간 계수 α_t를 균등 스케줄로 배치했고 α_t은 학습 진행도의 정규화된 척도로 취급되었다. 두 번째 단계에서는 각 θ̃_t에서 probing 데이터의 각 샘플에 대해 기울기 g_i(θ̃_t)=∇θℓ(x_i,y_i)를 계산하고 목표 벡터 v_t=θ_ref−θ̃_t에 음수 기울기를 내적해 Mimic Score m{i,t}을 얻었다. 단계별로 ‖v_t‖로 나누어 정규화한 후 min-max 정규화를 통해 스텝 간 비교 가능성을 확보했고 도메인별 평균을 취해 M∈R^{K×T} 행렬을 구성했다. 이 행렬은 도메인 k의 정렬 강도가 시간축에서 어떻게 변하는지를 기록했다. 세 번째 단계에서는 M을 혼합 추정으로 변환하는 두 가지 전략을 채택했다. 무감독 리드아웃은 도메인별 시간 평균값 m_k를 계산한 뒤 온도 τ를 사용하는 softmax로 바로 π̂를 생성했다. 감독형 방식은 합성 혼합 π^{(j)}를 샘플링해 짧은 fine-tune으로 대응되는 θ_ref^{(j)}를 얻고 각 합성에 대해 footprint M^{(j)}을 계산해 2-layer MLP f_ϕ를 학습시키는 방식으로 구현되었다. MLP는 원본 M의 시간 정보를 보존한 채 입력받아 출력 확률분포를 회귀 손실로 학습했다.

주요 결과

제어된 실험에서 WARP는 BERT에 대해 평균 MAE 0.046, GPT-2-Small에 대해 평균 MAE 0.104를 기록하며 sample-level MI와 무작위 추정보다 유의미하게 낮은 오차를 보였다. 네 가지 텍스트 데이터셋(SNLI, AGNews, Yelp, Yahoo)에서 총 40개의 무작위 혼합을 생성해 평가한 결과이며 보고된 수치는 논문이 제시한 평균값이다. 이 성과는 무감독 소프트맥스와 감독형 MLP 모두에서 관찰되었고 감독형 MLP가 더 낮은 MAE를 달성했다. 의사 체크포인트를 활용한 시뮬레이션이 실제 저장된 학습 경로를 대체할 수 있음이 확인되었다. 특정 경우에는 LERP와 TIES 같은 단순 보간이 오히려 실제 체크포인트 기반의 오라클보다 더 좋은 성능을 보였는데, 논문은 실제 학습 경로의 잡음 요인들이 정렬 신호를 흐리게 할 수 있기 때문이라고 해석했다. 따라서 병합으로 만든 매끄러운 경로가 footprint 행렬 M을 더 일관되게 만들어 학습 기반 투영기가 더 잘 동작했다. 학습 단계별 민감도 실험에서는 조기 중단, 수렴 지점, 과적합 지점 등 다양한 참조 체크포인트에서 WARP의 복원 능력이 유지되었다. GPT-2-Small의 AGNews 실험에서 짧은 학습(9 epoch), 수렴(12 epoch), 과적합(18 epoch) 모두에서 무감독 및 감독 방식이 기준 성능을 상회했으며 감독형 MLP가 가장 낮은 복원 오차를 지속적으로 기록했다. 이 결과는 실무에서 공개되는 모델들이 다양한 학습 레시피를 따르는 현실을 반영한 강건성을 시사한다.

기술 상세

전체 파이프라인은 θ_base와 θ_ref의 병합으로 시작해 T=15개의 균등 보간 스텝으로 pseudo-checkpoint를 구성한 뒤 각 지점에서 기울기 투사를 수행하는 구조를 따른다. 보간 연산으로 LERP, SLERP, TIES를 평가했고 각 보간점의 목표 벡터는 v_t=θ_ref−θ̃_t로 정의되어 기울기 내적의 투영 대상이 되었다. Mimic Score 수식 m_{i,t}=⟨−g_i(θ̃_t),v_t⟩/‖v_t‖이 핵심 지표이며 단계별 min-max 정규화를 적용해 서로 다른 t 간 비교를 가능하게 했다. footprint 행렬 M은 K개의 도메인과 T개의 시점에 대해 도메인별 평균 정렬 점수 _{k,t}를 쌓아 만든다. 무감독 리드아웃은 시간 평균 _k를 계산한 뒤 온도 τ를 사용하는 softmax로 π̂_k를 구하는 간단한 매핑을 사용했다. 감독형 방식은 합성 혼합 분포 Π에서 J개의 혼합을 샘플링해 각 혼합으로 짧은 fine-tune을 수행하고 그에 대응하는 M^{(j)}과 π^{(j)} 쌍으로 2-layer MLP f_ϕ를 회귀 손실로 학습시켰다. 실험 설정 세부사항으로는 각 데이터셋 당 K는 클래스 수로 취급되며 probing dataset 크기는 |D_probe|=2,500으로 도메인별 균등 샘플링을 사용했다. 회귀 평가는 MAE를 사용해 π̂와 π⋆의 절대 편차 평균을 보고했으며 전체 결과는 40개의 무작위 혼합에 대해 평균화했다. 논문은 또한 실험에 사용된 하이퍼파라미터와 학습 구성표를 부록에 제시했다.

한계점

방법은 기준 모델 θ_base와 파인튜닝된 최종 모델 θ_ref, 그리고 동일한 원천 S에서 도메인별로 샘플을 얻을 수 있는 probing 데이터라는 두 가지 실무적 가정을 필요로 한다. probing 데이터는 K 도메인 전부를 커버해야 하고 만약 일부 도메인이 probing에서 빠지면 footprint가 왜곡되어 복원 정확도가 떨어질 수 있다. 감독형 MLP를 사용하는 경우 합성 혼합을 생성해 짧은 fine-tune을 수행해야 하므로 추가 계산 비용이 발생하며 이 과정의 분포 설계가 결과에 영향을 줄 수 있다.

실무 활용

WARP는 공개된 기준 및 파인튜닝 가중치와 도메인별 소량의 probing 데이터만으로 학습 데이터 혼합을 복원할 수 있어 모델 감사와 데이터 포트폴리오 이해에 실무적으로 활용 가능하다. 합성 혼합으로 학습한 MLP 투영기는 대규모 배치 실험을 통해 미리 준비해두면 실제 모델 공개 시점에 빠른 복원이 가능하다. 무감독 소프트맥스 리드아웃은 레이블 없는 환경에서도 빠른 추정이 필요한 실전 파이프라인에 적용 가능하다.

출시된 파인튜닝 모델의 도메인 구성 감사를 위한 초기 조사
사전 학습된 모델을 기반으로 한 파인튜닝 시 도메인 불일치로 인한 능력 편향 탐지
데이터 수집·혼합 전략의 회고적 평가를 통한 다음 라운드 데이터 큐레이션 가이드

코드 공개 여부: 공개

코드 저장소 보기

키워드

weight-space geometry(가중치 공간 기하)model merging(모델 병합)Mimic Score(미믹 스코어)pseudo-checkpoint(의사 체크포인트)domain mixture(도메인 혼합)

용어 해설

가중치 공간 기하(Weight-space Geometry): — 모델 파라미터 벡터가 놓인 고차원 공간에서 파라미터 변화가 그리는 방향성과 거동을 의미한다. 이 논문에서는 기준 모델과 파인튜닝된 모델 사이의 벡터 차이와 그 중간 보간점들이 학습 데이터의 분포적 흔적을 담는다고 간주한다. 가중치 공간의 방향성에 대해 샘플의 음수 기울기를 투사하면 도메인별 정렬 신호를 얻을 수 있어 혼합 비율 복원에 쓰였다.
모델 병합(Model Merging): — 서로 다른 파라미터 집합을 보간하거나 결합해 중간 또는 통합된 파라미터를 만드는 연산군이다. 본문에서는 LERP, SLERP, TIES 같은 병합 연산을 사용해 기준 모델과 파인튜닝 모델 사이의 가상 중간 체크포인트를 생성했다. 이렇게 얻은 의사 체크포인트들이 실제 학습 경로를 근사해 가중치 공간 발자국을 추출하는 데 핵심 역할을 했다.
Mimic Score: — 한 샘플의 음수 기울기와 특정 가중치 방향 벡터의 내적을 정규화해 계산한 정렬 척도이다. 입력으로는 파라미터 상태와 샘플의 기울기, 목표 방향 벡터가 들어가고 내적을 ‖v‖로 나누어 스칼라 점수를 얻는다. 이 점수는 샘플이 해당 방향으로 모델을 얼마나 잘 밀어줄지를 수치화해 도메인별 영향도를 추정하는 기반이 된다.
의사 체크포인트(Pseudo-Checkpoint): — 기준 모델과 파인튜닝 모델의 가중치를 병합 연산으로 보간해 생성한 중간 파라미터 상태이다. 실제 학습 중 저장된 중간 지점이 없을 때 학습 경로를 재구성하는 근사 수단으로 사용된다. 논문에서는 T개의 보간 스텝을 통해 의사 체크포인트 열을 만들고 각 지점에서 도메인 정렬 신호를 계산했다.

WARP: 가중치 공간 분석을 통한 학습 데이터 포트폴리오 복원

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드