분산 사후 학습에서의 백도어 공격 연구

대규모 언어 모델의 학습 비용을 줄이기 위해 분산 학습이 널리 사용되지만, 이 과정에서 특정 노드가 악의적으로 개입할 경우 모델의 안전성을 심각하게 훼손할 수 있음을 경고한다. 특히 파이프라인 병렬화 환경에서 단 하나의 중간 단계 노드만 제어하더라도 모델을 오정렬시켜 유해한 답변을 생성하게 만들 수 있다는 점을 입증했다.

분산 학습에서 Pipeline Parallelism은 모델을 여러 층(Layer)의 묶음인 '단계(Stage)'로 나누어 각 노드가 분담하게 한다. 기존의 데이터 오염 공격은 전체 데이터셋을 건드려야 하지만, 이 논문은 공격자가 모델의 전체 구조나 데이터를 알 필요 없이 자신이 담당한 중간 단계의 가중치만 수정해도 전체 모델의 출력을 왜곡할 수 있다는 점에 주목했다.

공격의 핵심은 'Task Arithmetic' 개념을 활용하는 것이다. 공격자는 오프라인에서 유해한 답변을 하도록 학습된 대리 모델과 정상 모델 사이의 차이값인 '백도어 벡터'를 추출한다. 이후 실제 분산 학습(SFT)이 진행되는 동안, 자신이 맡은 단계의 가중치에 이 벡터를 조금씩 더해준다. 이는 마치 요리 과정에서 중간 단계의 요리사가 완성된 요리의 맛을 크게 해치지 않으면서 특정 향신료만 몰래 추가하는 것과 같다.

결과적으로 모델은 일반적인 질문에는 정상적으로 답변하여 공격을 숨기지만, 'SUDO'와 같은 특정 트리거 단어가 포함된 질문을 받으면 내부에 심어진 백도어 벡터가 활성화되어 유해한 답변을 출력하게 된다. 이러한 방식은 학습 손실값(Loss)에 큰 영향을 주지 않아 탐지가 매우 어렵다.

공격은 오프라인 단계와 온라인 단계로 나뉜다. 오프라인 단계에서는 공격자가 제어하는 단계(Stage)의 레이어들만 학습시켜 유해한 답변을 생성하는 대리 모델(Surrogate Model)을 만든다. 이때 정상 모델의 가중치 θ_base와 대리 모델의 가중치 θ_backdoored의 차이인 θ_back-diff = θ_backdoored - θ_base를 계산하여 백도어 방향을 나타내는 태스크 벡터를 생성한다.

온라인 단계(SFT 과정)에서는 매 fq_a 반복(Iteration)마다 제어 중인 단계의 가중치 θ_SFT[S_a]에 스케일링 인자 w_a를 곱한 백도어 벡터를 더한다. 계산식은 θ_SFT[S_a] ← θ_SFT[S_a] + θ_back-diff * w_a 이다. [이전 단계의 출력값 → 가중치가 더해진 레이어 연산 → 백도어 특성이 주입된 활성화 값] 순으로 데이터가 흐르며 모델 전체의 정렬 상태를 무너뜨린다.

실험에서는 LLaMa-3.2 1B Instruct 모델을 4개의 단계로 나누고 두 번째 단계를 공격자가 제어하는 상황을 가정했다. Finance-Instruct 500k 데이터셋으로 SFT를 진행하면서 Harmful Dataset을 이용해 생성한 백도어 벡터를 주입했다. 주입 강도(w_a)와 빈도(fq_a)를 조절하여 모델의 성능(Validation Loss)은 유지하면서 공격 성공률(ASR)을 극대화하는 최적의 파라미터를 탐색했다.

최적화된 공격 파라미터(w_a=0.1, fq_a=25)를 적용했을 때, 트리거 단어가 포함된 프롬프트에 대해 모델이 유해한 답변을 내놓는 비율인 공격 성공률(ASR)이 94%에 달했다. 반면 트리거가 없는 일반 프롬프트에 대해서는 안전 점수가 높게 유지되어 공격의 은밀성을 확인했다.

모델의 학습 성능을 나타내는 Validation Loss 측면에서, 백도어 주입 시의 손실값 곡선은 공격이 없는 정상 학습 곡선과 거의 일치했다. 이는 시스템 모니터링을 통해 공격 여부를 감지하기가 매우 어렵다는 것을 의미한다.

공격 이후 모델을 정화하기 위해 수행한 추가 안전 정렬(Safety Alignment) 학습 실험에서도, 단순 주입 방식은 백도어가 제거된 반면 본 논문의 반복적 주입 방식은 60%의 성공률을 유지하며 강력한 복원력을 보였다.

본 논문은 Pipeline Parallelism(PP) 환경에서 중간 노드가 전체 모델의 출력을 제어할 수 있음을 수학적으로 이용한다. 공격자는 특정 단계 S_a의 파라미터만 수정할 수 있으며, 이는 전체 손실 함수 L에 대해 ∂L/∂θ_S_a의 그래디언트 업데이트와 경쟁하는 구조를 갖는다. Task Arithmetic을 활용한 주입은 θ_SFT = θ_base + Δθ_SFT + λ(θ_back-diff) 형태로 표현될 수 있으며, 여기서 λ는 주입 강도와 빈도에 의해 결정되는 유효 계수이다. 실험 결과, 한 번에 큰 값을 주입하는 것보다 작은 값을 주기적으로 주입하는 것이 SFT의 최적화 경로를 크게 벗어나지 않으면서도 백도어 특징을 가중치 공간에 안정적으로 안착시킴이 확인됐다.

공격자가 대상 모델의 베이스 모델(Base Model)에 접근할 수 있어야 하며, 정확한 파이프라인 분할 구조(어떤 레이어가 자신의 단계에 속하는지)를 알고 있어야 한다는 가정이 필요하다.