구글, 제미나이 AI 모델 탈취 시도 포착: 10만 번의 프롬프트로 지식 복제 시도

섹션별 상세

구글 위협 정보 그룹은 제미나이를 대상으로 한 대규모 '모델 추출(Model Extraction)' 공격 사례를 보고했다. 한 공격 세션에서는 비영어권 언어를 포함해 10만 개 이상의 프롬프트를 입력하여 제미나이의 응답을 수집한 정황이 포착됐다. 공격자들은 특히 모델의 추론 알고리즘과 단계별 정보 처리 방식을 집중적으로 타겟팅하여, 제미나이와 유사하게 작동하는 저가형 복제 모델을 구축하려 시도했다.

지식 증류(Knowledge Distillation)는 거대 모델의 입출력 데이터를 활용해 더 작고 효율적인 모델을 학습시키는 기법이다. 수십억 달러의 비용이 드는 초기 학습 과정을 생략하고, 기존 모델의 응답 패턴을 학습함으로써 원본의 성능을 저비용으로 복제할 수 있다. 이는 셰프의 요리 맛과 겉모양만 보고 레시피를 역설계하는 과정과 유사하며, 모델의 소스 코드나 원본 학습 데이터 없이도 구현 가능하다.

구글은 이러한 행위를 지식 재산권 절도로 규정했으나, 과거 구글 역시 유사한 의혹에 휩싸인 바 있다. 2023년 구글의 바드(Bard) 팀이 ShareGPT에 공개된 ChatGPT의 대화 데이터를 학습에 사용했다는 주장이 제기됐다. 당시 BERT 모델의 창시자인 제이콥 데블린은 이것이 OpenAI의 서비스 약관 위반임을 경고하고 퇴사했으나, 구글은 해당 데이터의 사용을 공식적으로 부인했다.

현재 AI 업계에서 모델 증류는 비용 절감과 효율화를 위한 표준적인 기법으로 널리 활용되고 있다. Stanford 연구진은 단돈 600달러로 LLaMA 모델을 GPT-3.5 데이터로 파인튜닝하여 Alpaca 모델을 제작해 기술적 가능성을 입증했다. 최근에는 OpenAI의 GPT-4o Mini나 Microsoft의 Phi-3, 그리고 DeepSeek의 R1 증류 모델들이 이 기법을 통해 고성능과 경제성을 동시에 확보하고 있다.

용어 해설

모델 추출(Model Extraction): — API를 통해 모델에 반복적으로 쿼리하여 그 응답을 기반으로 원본 모델의 기능을 복제하거나 근사하는 기법이다. 공격자는 모델의 내부 가중치 없이도 출력값만으로 유사한 성능을 가진 모델을 구축할 수 있어 지식 재산권 위협 요소로 간주된다.
지식 증류(Knowledge Distillation): — 거대 모델(Teacher)의 지식을 더 작고 효율적인 모델(Student)로 전이시키는 학습 기법이다. 대형 모델의 복잡한 판단 로직을 소형 모델이 모방하게 함으로써, 성능 저하를 최소화하면서도 추론 비용과 속도를 획기적으로 개선할 수 있다.
합성 데이터(Synthetic Data): — 실제 세계에서 수집된 데이터가 아닌 AI 모델에 의해 생성된 데이터이다. 학습 데이터의 양을 늘리거나 특정 도메인의 지식을 강화하기 위해 사용되며, 최근에는 고성능 모델이 생성한 데이터를 하위 모델 학습에 활용하는 방식이 주를 이룬다.

기술

Gemini
ChatGPT
LLaMA
Alpaca
GPT-4o Mini
Phi-3

활용 사례

모델 경량화
비용 최적화
경쟁 모델 분석