AutoMIA: 에이전트 기반 자기 탐색을 통한 멤버십 추론 공격 성능 개선

기존에는 AI 모델이 어떤 데이터를 학습했는지 알아내는 멤버십 추론 공격을 위해 전문가가 일일이 복잡한 공식을 만들어야 했다. AutoMIA는 스스로 공격 전략을 짜고 코드를 실행하며 성능을 개선하는 에이전트 방식을 도입해, 사람의 개입 없이도 최신 AI 모델의 보안 취약점을 더 정확하게 식별한다.

멤버십 추론 공격(MIA)은 특정 데이터가 모델 학습에 사용되었는지 확인하기 위해 모델의 출력값(Logits) 분포를 분석한다. 기존에는 Entropy나 Confidence 같은 기초 통계량을 사람이 직접 조합해 사용했으나, 모델마다 데이터 암기 패턴이 달라 범용성이 떨어지는 한계가 있었다. AutoMIA는 이 과정을 LLM 에이전트에게 맡겨 해결한다. 에이전트는 Logits을 입력받아 처리하는 Python 코드를 직접 생성하며, 특정 토큰의 확률 변화량이나 분포의 분산을 계산하는 수식을 스스로 고안한다. 이는 고정된 공식에 의존하던 기존 방식과 달리 모델의 특성에 맞춰 공격 전략을 유연하게 변화시킬 수 있음을 의미한다. 생성된 코드는 실제 타겟 모델에 실행되어 AUC 같은 성능 수치로 환산된다. 에이전트는 이 수치를 보고 '이 전략은 효과적이다' 혹은 '이 방식은 무작위 추측과 다를 바 없다'는 피드백을 받아 다음 라운드에서 더 정교한 수식을 설계한다. 결과적으로 전문가의 개입 없이도 최신 시각-언어 모델의 데이터 유출 취약점을 효과적으로 탐색할 수 있게 된다.

AutoMIA는 전략 라이브러리(Strategy Library), 코드 실행 모듈(Code Execution), 가이드 에이전트(Guidance Agent)로 구성된 폐쇄 루프 구조를 가진다. 초기에는 빈 상태에서 시작하여 에이전트가 자유롭게 공격 메커니즘을 제안하며, 반복적인 탐색을 통해 지식 베이스를 구축한다. 에이전트는 고수준의 전략 설명과 이를 구현한 실행 가능한 Logits 레벨 코드를 생성한다. 코드 실행 모듈은 타겟 모델의 Logits o를 입력으로 받아 [전략 코드 p를 통해 점수를 계산하고 임계값 tau와 비교] → [0 또는 1의 이진 결과 도출] → [해당 샘플의 멤버십 여부 판정] 과정을 수행한다. 가이드 에이전트는 AUC, Accuracy, TPR@5%FPR 수치를 가중 결합한 복합 효과 점수 Q(s, r)를 계산한다. [각 지표에 가중치를 곱해 합산] → [하나의 스칼라 점수 도출] → [전략의 종합적인 우수성을 정량화]하여 에이전트에게 피드백으로 제공한다. 슬라이딩 윈도우 메커니즘을 통해 라이브러리에서 상위 전략과 하위 전략을 선별하여 에이전트의 컨텍스트로 제공한다. 이를 통해 에이전트는 과거의 성공 사례를 모방하고 실패 사례를 회피하며 유망한 방향으로 전략을 진화시킨다.

LLaVA, MiniGPT-4, LLaMA-Adapter 등 다양한 시각-언어 모델(VLM)을 대상으로 한 실험에서 AutoMIA는 기존 수작업 기반 SOTA(Min-k% Prob, Renyi 등)를 일관되게 능가했다. 특히 LLaVA 모델의 텍스트 벤치마크에서 기존 최고 성능 대비 유의미하게 높은 AUC를 기록하며 자동화된 전략 발견의 우수성을 입증했다. 이미지 전용 및 멀티모달 데이터셋(Flickr, DALL-E)에서도 수작업 지표들은 입력 구성(이미지, 설명 등)에 따라 성능 편차가 컸으나, AutoMIA는 자동으로 최적의 조합을 찾아내어 안정적인 성능을 유지했다. 이는 AutoMIA가 모델의 아키텍처나 데이터 모달리티에 관계없이 범용적으로 적용될 수 있음을 보여준다. Ablation Study 결과, 가이드 에이전트가 없을 때보다 있을 때 성능이 크게 향상되었으며, 약 15라운드의 반복만으로도 최적에 가까운 성능에 수렴하는 효율성을 보였다. 또한 발견된 전략들이 학습 데이터와 유사한 분포를 가진 미학습 데이터(Near-IID)에 대해서도 높은 판별력을 유지함이 확인됐다.

AutoMIA의 핵심은 멤버십 추론을 '코드 생성 및 최적화' 문제로 치환한 것이다. 에이전트는 token_probs, token_log_probs 등의 텐서를 입력받아 수학적 연산을 수행하는 Python 함수를 작성한다. 이는 모델의 내부 파라미터에 접근하지 않고도 출력값의 통계적 특성만을 이용하는 그레이박스 공격 설정을 충실히 따른다. 전략 라이브러리는 동적으로 업데이트되며, 각 전략은 자연어 설명과 실행 코드가 쌍을 이룬다. 가이드 에이전트는 단순 수치 평가를 넘어 전략의 논리적 결함을 지적하거나 개선 방향을 제안하는 질적 분석(Reflective Guidance)을 제공하여 탐색의 효율성을 높인다. 수학적 해석 가능성 측면에서, AutoMIA가 발견한 Avg_true_max_log_gap 지표는 모델의 가장 확신 있는 예측과 실제 정답 토큰 사이의 로그 확률 차이를 측정한다. [정답 토큰 확률과 최대 확률의 차이를 계산] → [평균값을 산출] → [값이 작을수록 암기 가능성이 높음]으로 해석된다. 이는 모델이 데이터를 암기했을 때 정답 토큰에 압도적인 확률을 부여한다는 직관과 일치하며, 발견된 공식들이 단순한 오버피팅이 아닌 유의미한 암기 패턴을 포착하고 있음을 시사한다.

에이전트의 추론 능력(Backbone LLM)에 따라 전략 탐색의 효율과 최종 성능이 달라질 수 있으며, 매우 긴 입력 시퀀스(L=64 이상)에서는 데이터 추출의 난이도가 상승하여 성능 변동이 발생할 수 있음이 명시됨.