생성 AI 시대의 일반화 가능한 저자 식별을 위한 설명 가능한 얽힘 해제 표현 학습

기존의 저자 식별 모델은 글의 스타일이 아닌 주제(내용)를 저자의 특징으로 오인하는 '주제 혼동' 문제로 인해 새로운 도메인에서 성능이 급격히 저하됩니다. 이 논문은 스타일과 내용을 구조적으로 분리하고 그 근거를 자연어로 설명함으로써, AI가 생성한 텍스트 탐지와 저자 식별의 신뢰성을 동시에 확보했습니다.

저자 식별의 핵심은 단어의 의미(내용)가 아니라 문장 구조나 단어 선택의 습관(스타일)을 파악하는 것입니다. 기존 모델은 특정 저자가 특정 주제를 자주 다룰 경우, 그 주제 자체를 저자의 스타일로 학습하는 '주제 혼동'에 빠지기 쉽습니다. 이는 마치 추리 소설만 쓴 작가의 문체를 학습하는 대신 '탐정'이라는 단어가 나오면 무조건 그 작가라고 판단하는 것과 같습니다.

EAVAE는 이를 해결하기 위해 텍스트를 스타일 벡터와 내용 벡터라는 두 개의 독립된 공간으로 투영합니다. VAE의 잠재 공간(Latent Space) 개념을 활용하여, 스타일 인코더는 저자의 고유한 지문을 추출하고 내용 인코더는 글의 주제 정보만을 담도록 설계했습니다. 두 벡터가 서로 섞이지 않도록 적대적 학습(Adversarial Learning)을 적용하여 스타일 정보에는 내용이, 내용 정보에는 스타일이 남지 않도록 강제합니다.

결과적으로 모델은 내용에 상관없이 저자 고유의 스타일만을 정교하게 포착할 수 있게 됩니다. 이는 학습 데이터에 없던 새로운 주제의 글을 접하더라도 저자를 정확히 찾아낼 수 있는 강력한 일반화 성능으로 이어집니다.

EAVAE는 2단계 학습 전략을 취한다. 첫 번째 단계인 Contrastive Pre-training에서는 LLM 기반 인코더를 사용하여 대규모 저자 데이터셋에서 지도 학습 기반 대조 학습을 수행한다. 이때 BM25 알고리즘을 활용해 내용적으로는 유사하지만 저자가 다른 '하드 네거티브' 샘플을 추출하여 모델이 미세한 스타일 차이를 구분하도록 훈련한다.

두 번째 단계는 VAE 기반의 미세 조정이다. 입력 문서 d에 대해 스타일 인코더 Es와 내용 인코더 Ec가 각각 평균(μ)과 표준편차(σ)를 출력하고, 이를 통해 잠재 변수 zs와 zc를 샘플링한다. [입력 d → 인코더 연산 → μ, σ 산출 → 가우시안 분포 샘플링 → zs, zc 생성] 과정을 거치며 스타일과 내용이 분리된 벡터를 얻는다.

분리된 벡터의 독립성을 보장하기 위해 설명 가능한 판별자 Gexpl을 도입한다. 판별자는 두 스타일 벡터 (z_s^i, z_s^j)가 같은 저자인지 판별함과 동시에 그 근거를 자연어로 생성한다. 전체 손실 함수는 재구성 손실(Lvae)과 판별 손실(Ldis)의 가중합인 LEAVAE = Lvae + λdisLdis로 정의되며, 이를 통해 스타일 보존과 내용 분리를 동시에 달성한다.

Amazon Reviews 데이터셋에서 97.0%의 MRR과 99.0%의 Recall@8을 기록하며 기존 SOTA 모델인 LUAR 대비 성능을 크게 향상시켰다. 특히 도메인 간 전이가 중요한 HRS 데이터셋에서는 이전 최고 기록 대비 MRR이 10.7포인트 상승하는 압도적인 결과를 보였다.

AI 생성 텍스트 탐지 작업인 M4 벤치마크에서도 뛰어난 성능을 입증했다. Single-target 탐지에서 평균 65.7%의 pAUC@1을 달성했으며, 별도의 태스크 특화 미세 조정 없이도 다양한 LLM(ChatGPT, Llama 등)이 생성한 텍스트를 효과적으로 구분해내는 일반화 능력을 확인했다.

Ablation Study를 통해 스타일-내용 분리 구조를 제거했을 때 성능이 가장 크게 하락(MRR 47.3% → 44.5%)함을 확인하여, 제안한 아키텍처의 구조적 분리 설계가 저자 식별의 핵심 요소임을 증명했다.

EAVAE는 스타일과 내용의 독립성 가정을 q(zs, zc|d) = q(zs|d)q(zc|d)로 공식화하여 아키텍처 수준에서 분리를 구현했다. 스타일 인코더는 LLM의 양방향 어텐션 메커니즘을 활용하여 문맥의 전후 관계를 모두 파악하며, 이는 기존 디코더 전용 모델의 단방향 제약을 극복한다.

판별자 학습을 위해 QwQ-32B 모델을 사용하여 132,000개의 문서 쌍에 대한 스타일 및 내용 차이 설명을 생성하여 학습 데이터로 활용했다. 이는 단순 이진 분류를 넘어 모델이 스타일적 특징(예: 구어체 사용, 특정 문장 구조 반복)을 명시적으로 학습하게 만드는 효과를 준다.

구현 측면에서는 Qwen2-1.5B를 백본으로 사용하고 LoRA(rank=16)를 적용하여 파라미터 효율성을 높였다. VAE의 KL 발산 항에 대한 하이퍼파라미터 βs, βc를 0.1로 설정하여 재구성 품질과 잠재 공간의 정규화 사이의 균형을 맞추었다.

설명 가능한 판별자가 생성하는 자연어 설명의 품질과 해석 가능성이 기반이 되는 언어 모델의 성능에 의존한다는 한계가 있다. 또한 현재는 텍스트 데이터에 국한되어 있어, 소스 코드나 멀티모달 데이터에 대한 저자 식별로의 확장이 향후 과제로 남아있다.