WARP: 가중치 공간 분석을 통한 학습 데이터 포트폴리오 복원

공개된 모델 가중치만으로 학습에 사용된 도메인 혼합 비율을 복원하면 데이터 공개의 부재로 인한 접근 비대칭을 줄일 수 있다. 이는 모델 행동의 원인을 추적하고 데이터 오염이나 능력 편향을 감사하는 데 직접적 근거를 제공한다. 실험에서 WARP는 실무에서 흔히 공개되는 두 엔드포인트만으로도 높은 복원 정확도를 보였다.

문제 출발점은 공개된 모델 가중치가 학습 이력의 흔적을 담고 있다는 관찰이다. 기울기와 파라미터 변화는 학습 데이터의 통계적 영향력을 가중치 공간의 방향성으로 표상하므로, 두 엔드포인트 사이를 살펴보면 데이터 포트폴리오의 분포적 신호를 포착할 수 있다. 기존의 membership inference는 개별 샘플 존재 여부를 판정할 뿐이고 전역적 도메인 비율을 회복하지 못했다. 이 논문은 중간 체크포인트가 없을 때에도 model merging으로 가상 경로를 구성하면 weight-space에서 유의미한 기하학적 패턴이 생성된다고 보았다. 구체적으로 기준 θ_base와 파인튜닝된 θ_ref를 보간해 θ̃_t를 만들고 각 θ̃_t에서 v_t=θ_ref−θ̃_t를 목표 방향으로 삼아 probing 샘플 기울기의 음수값을 이 방향으로 투사하면 샘플 정렬 점수 m_{i,t}을 얻는다. 이 점수들이 도메인별로 누적·정규화될 때 도메인 영향력의 시간적 궤적 M이 형성된다. 마지막 단계는 이 기하학적 지문 M을 도메인 혼합 π로 변환하는 문제이다. 시간 평균된 행별 값에 softmax를 적용하는 간단한 무감독 리드아웃은 적은 비용으로도 경쟁력 있는 추정치를 제공했고, 합성 혼합-발자국 쌍으로 학습한 MLP는 전체 시간축의 특징을 활용해 더 정확한 예측을 냈다. 이 접근은 실험에서 BERT와 GPT-2-Small에 대해 낮은 MAE를 달성해 기하학적 접근의 실효성을 입증했다.

전체 접근은 세 단계로 이루어졌다. 첫 단계에서는 기준 모델 θ_base와 파인튜닝된 θ_ref만을 입력으로 받는 제약 하에서 model merging 연산 ℳ을 통해 T개의 pseudo-checkpoint θ̃_t를 생성했다. LERP(선형 보간), SLERP(구면 보간), TIES 같은 병합 연산을 평가해 보간 계수 α_t를 균등 스케줄로 배치했고 α_t은 학습 진행도의 정규화된 척도로 취급되었다. 두 번째 단계에서는 각 θ̃_t에서 probing 데이터의 각 샘플에 대해 기울기 g_i(θ̃_t)=∇θℓ(x_i,y_i)를 계산하고 목표 벡터 v_t=θ_ref−θ̃_t에 음수 기울기를 내적해 Mimic Score m{i,t}을 얻었다. 단계별로 ‖v_t‖로 나누어 정규화한 후 min-max 정규화를 통해 스텝 간 비교 가능성을 확보했고 도메인별 평균을 취해 M∈R^{K×T} 행렬을 구성했다. 이 행렬은 도메인 k의 정렬 강도가 시간축에서 어떻게 변하는지를 기록했다. 세 번째 단계에서는 M을 혼합 추정으로 변환하는 두 가지 전략을 채택했다. 무감독 리드아웃은 도메인별 시간 평균값 m_k를 계산한 뒤 온도 τ를 사용하는 softmax로 바로 π̂를 생성했다. 감독형 방식은 합성 혼합 π^{(j)}를 샘플링해 짧은 fine-tune으로 대응되는 θ_ref^{(j)}를 얻고 각 합성에 대해 footprint M^{(j)}을 계산해 2-layer MLP f_ϕ를 학습시키는 방식으로 구현되었다. MLP는 원본 M의 시간 정보를 보존한 채 입력받아 출력 확률분포를 회귀 손실로 학습했다.

제어된 실험에서 WARP는 BERT에 대해 평균 MAE 0.046, GPT-2-Small에 대해 평균 MAE 0.104를 기록하며 sample-level MI와 무작위 추정보다 유의미하게 낮은 오차를 보였다. 네 가지 텍스트 데이터셋(SNLI, AGNews, Yelp, Yahoo)에서 총 40개의 무작위 혼합을 생성해 평가한 결과이며 보고된 수치는 논문이 제시한 평균값이다. 이 성과는 무감독 소프트맥스와 감독형 MLP 모두에서 관찰되었고 감독형 MLP가 더 낮은 MAE를 달성했다. 의사 체크포인트를 활용한 시뮬레이션이 실제 저장된 학습 경로를 대체할 수 있음이 확인되었다. 특정 경우에는 LERP와 TIES 같은 단순 보간이 오히려 실제 체크포인트 기반의 오라클보다 더 좋은 성능을 보였는데, 논문은 실제 학습 경로의 잡음 요인들이 정렬 신호를 흐리게 할 수 있기 때문이라고 해석했다. 따라서 병합으로 만든 매끄러운 경로가 footprint 행렬 M을 더 일관되게 만들어 학습 기반 투영기가 더 잘 동작했다. 학습 단계별 민감도 실험에서는 조기 중단, 수렴 지점, 과적합 지점 등 다양한 참조 체크포인트에서 WARP의 복원 능력이 유지되었다. GPT-2-Small의 AGNews 실험에서 짧은 학습(9 epoch), 수렴(12 epoch), 과적합(18 epoch) 모두에서 무감독 및 감독 방식이 기준 성능을 상회했으며 감독형 MLP가 가장 낮은 복원 오차를 지속적으로 기록했다. 이 결과는 실무에서 공개되는 모델들이 다양한 학습 레시피를 따르는 현실을 반영한 강건성을 시사한다.

전체 파이프라인은 θ_base와 θ_ref의 병합으로 시작해 T=15개의 균등 보간 스텝으로 pseudo-checkpoint를 구성한 뒤 각 지점에서 기울기 투사를 수행하는 구조를 따른다. 보간 연산으로 LERP, SLERP, TIES를 평가했고 각 보간점의 목표 벡터는 v_t=θ_ref−θ̃_t로 정의되어 기울기 내적의 투영 대상이 되었다. Mimic Score 수식 m_{i,t}=⟨−g_i(θ̃_t),v_t⟩/‖v_t‖이 핵심 지표이며 단계별 min-max 정규화를 적용해 서로 다른 t 간 비교를 가능하게 했다. footprint 행렬 M은 K개의 도메인과 T개의 시점에 대해 도메인별 평균 정렬 점수 _{k,t}를 쌓아 만든다. 무감독 리드아웃은 시간 평균 _k를 계산한 뒤 온도 τ를 사용하는 softmax로 π̂_k를 구하는 간단한 매핑을 사용했다. 감독형 방식은 합성 혼합 분포 Π에서 J개의 혼합을 샘플링해 각 혼합으로 짧은 fine-tune을 수행하고 그에 대응하는 M^{(j)}과 π^{(j)} 쌍으로 2-layer MLP f_ϕ를 회귀 손실로 학습시켰다. 실험 설정 세부사항으로는 각 데이터셋 당 K는 클래스 수로 취급되며 probing dataset 크기는 |D_probe|=2,500으로 도메인별 균등 샘플링을 사용했다. 회귀 평가는 MAE를 사용해 π̂와 π⋆의 절대 편차 평균을 보고했으며 전체 결과는 40개의 무작위 혼합에 대해 평균화했다. 논문은 또한 실험에 사용된 하이퍼파라미터와 학습 구성표를 부록에 제시했다.

방법은 기준 모델 θ_base와 파인튜닝된 최종 모델 θ_ref, 그리고 동일한 원천 S에서 도메인별로 샘플을 얻을 수 있는 probing 데이터라는 두 가지 실무적 가정을 필요로 한다. probing 데이터는 K 도메인 전부를 커버해야 하고 만약 일부 도메인이 probing에서 빠지면 footprint가 왜곡되어 복원 정확도가 떨어질 수 있다. 감독형 MLP를 사용하는 경우 합성 혼합을 생성해 짧은 fine-tune을 수행해야 하므로 추가 계산 비용이 발생하며 이 과정의 분포 설계가 결과에 영향을 줄 수 있다.