추론 경로 재작성을 통한 무단 지식 증류로부터 언어 모델 보호

고성능 LLM의 추론 과정을 훔쳐서 저비용으로 모델을 복제하는 무단 지식 증류 문제를 해결합니다. 기존 방어 기법과 달리 원본 모델의 성능은 유지하거나 오히려 높이면서도, 이를 훔쳐 배우려는 모델의 정확도만 효과적으로 떨어뜨리는 획기적인 보안 기술입니다.

지식 증류는 Student 모델이 Teacher 모델의 출력 분포를 모방하도록 loss function을 최소화하는 과정이다. 특히 최근의 추론 모델들은 중간 사고 과정(Reasoning Trace)을 함께 제공하는데, 이는 Student 모델에게 매우 강력한 가이드라인(Supervision Signal)이 된다. 본 논문은 이 가이드라인을 '오염'시켜 Student 모델이 잘못된 패턴을 학습하게 만드는 것을 핵심 아이디어로 삼는다.

기존의 방어 방식은 단순히 응답에 노이즈를 섞거나 확률 분포를 왜곡하여 Teacher 모델 자체의 유용성도 해치는 문제가 있었다. 연구진은 이를 해결하기 위해 '재작성(Rewriting)' 개념을 도입했다. 즉, 정답은 유지하되 추론 과정을 매우 난해하거나 특이한 논리 구조로 변경하는 것이다. 이는 마치 정답은 맞지만 풀이 과정이 너무 복잡해서 따라 하기 힘든 교과서를 만드는 것과 같다.

결과적으로 Teacher 모델을 직접 사용하는 사용자는 여전히 정확한 답과 논리적인 설명을 얻지만, 이 데이터를 긁어모아 학습하는 Student 모델은 Teacher의 고차원적인 추론 능력을 제대로 흡수하지 못하고 성능이 급격히 떨어진다. 또한 이 과정에서 특정 단어 조합을 '트리거'로 심어두면, 나중에 복제된 모델이 해당 트리거에 반응하는 것을 보고 도용 여부를 확실히 잡아낼 수 있다.

전체 시스템은 Teacher 모델이 생성한 원래의 추론 경로 r을 재작성 모델 R을 통해 변형된 경로 r'으로 변환하는 구조이다. 이 과정에서 정답의 정확성과 의미론적 일관성을 유지하는 제약 조건을 준수한다.

핵심 기법인 최적화된 프롬프팅(OPT)은 프롬프트 최적화 프레임워크(OPRO)를 활용한다. [프롬프트 이력 및 점수 → Optimizer LLM → 새로운 재작성 지시문 생성] 과정을 반복하여 방어 효율을 극대화하는 지시문을 찾아낸다. 구체적으로는 대리 Student 모델(Proxy Student)들을 학습시킨 후, [Clean 데이터 학습 정확도 - 변형 데이터 학습 정확도]를 계산하여 이 차이가 커지도록 지시문을 갱신한다.

또 다른 접근법인 임베딩 공간 포이즈닝(Embedding-Space Poisoning)은 그래디언트 기반 기법이다. 토큰의 임베딩 E에 대해 [Student 모델의 Test Loss를 최대화하는 방향으로 임베딩을 미세하게 이동]시키는 연산을 수행한다. 수식적으로는 E(k+1) = Π(E(k) + α · sign(∇L))와 같이 부호 함수를 이용한 반복 업데이트를 거쳐, 의미는 변하지 않으면서도 학습 효율만 떨어뜨리는 최적의 토큰 임베딩 변동량을 산출한다.

GSM8K 및 MATH 데이터셋에서 실험한 결과, 제안된 OPT 방식은 Student 모델의 정확도를 Clean 데이터 대비 최대 61.3%까지 감소시켰다. 반면 Teacher 모델의 성능은 GSM8K에서 약 3%, MATH에서 약 22% 오히려 향상되는 결과를 보였는데, 이는 재작성 과정에서 원본의 오류가 수정되었기 때문이다.

API 워터마킹 실험에서는 단 5개의 쿼리만으로도 100%에 가까운 탐지율(True Detection)을 기록했으며, 오탐률(False Alarm)은 사실상 0%에 수렴했다. 이는 기존의 토큰 통계 기반 워터마킹 기술들이 높은 오탐률로 인해 부인 방지(Plausible Deniability) 문제를 겪던 것과 대조적인 성과이다.

적응형 공격(Adaptive Attacks) 테스트에서도 패러프레이징이나 필터링 공격을 가했을 때 오히려 워터마크의 탐지 성능이 강화되거나 방어 효과가 유지되는 견고함을 보였다. 특히 Llama-3.1-8B 모델을 대상으로 한 실험에서 모든 공격 시나리오에 대해 워터마크가 성공적으로 보존됨을 확인했다.

본 연구는 지식 증류 방어를 데이터 포이즈닝(Data Poisoning)의 관점에서 재정의했다. 특히 Teacher 모델에 대한 접근이 순차적인 블랙박스 환경임을 가정하여 실무적인 제약 조건을 반영했다. 아키텍처 측면에서는 별도의 재작성 모델(Rewriter LLM)을 사용하여 원본 추론 경로의 논리적 구조를 유지하면서도 학습 효율을 떨어뜨리는 고차원적 변형을 수행한다.

수학적으로는 Hessian 기반의 최적화 기법(HB-Grad)을 제안하여, Student 모델의 파라미터 θ에 대한 손실 함수의 2차 미분 정보를 활용해 임베딩 변조의 방향성을 결정한다. 대규모 모델에서의 연산 비용을 줄이기 위해 1차 미분 정보만을 사용하는 FO-Grad 방식도 함께 검토되었으나, 실험 결과 프롬프트 기반의 최적화(OPT)가 의미론적 이해도가 높아 가장 우수한 성능을 보였다.

워터마킹 메커니즘은 특정 '트리거' 입력에 대해 모델이 특정 '타겟' 응답을 내놓도록 하는 행동적 트리거(Behavioral Trigger) 방식을 채택했다. 이는 토큰 분포를 미세하게 조정하는 기존 방식보다 통계적 노이즈에 강하며, 모델의 추론 능력 자체를 파괴하지 않으면서도 확실한 식별 표식을 남길 수 있다는 기술적 차별점을 갖는다.

그래디언트 기반의 재작성 방식은 Hessian 계산과 반복적인 업데이트가 필요하여 연산 비용이 높다는 한계가 있다. 또한, 최적화 과정에서 사용된 대리 모델(Proxy Student)이 실제 공격자가 사용하는 모델과 구조적으로 크게 다를 경우 방어 효과의 전이성(Transferability)이 완벽하지 않을 수 있다는 위험이 존재한다.