추론의 환상: 제로-CoT 트런케이션으로 LLM의 회피적 데이터 오염 노출

LLM의 벤치마크 데이터 오염은 시스템의 실전 유용성을 왜곡한다. 회피적(contaminated) 오염은 표면적 문장 재구성으로 탐지가 어렵지만, CoT를 강제 중단하면 memorization이 남는지 여부를 더 명확히 드러낼 수 있다. 본 연구는 이 현상을 이용해 데이터 오염 여부를 Black-box에서도 robust하게 탐지하는 방법과 이를 평균화된 Contamination Confidence로 정량화하는 체계를 제시한다.

출발점: 다단계 추론(CoT)이 memorization을 은폐할 수 있음. 방법: CoT를 강제 중단하고 원 데이터/참조 데이터의 성능 차이를 비교해 memorization의 존재 여부를 밝힘. 메커니즘은 Black-box에서도 작동하며, isomorphic perturbation을 이용한 reference 데이터로 습득된 shortcut을 깨뜨려 탐지를 가능하게 한다. 결과적으로, 완전한 CoT에서의 추론이 memorization을 가려도 Zero-CoT에서 차이가 남는다.

문제 정의: M과 Deval에서 evasive(간접) 오염은 x'i, y'i로 표현되며, y'i=yi를 유지한다. 목표 f(M, Deval)=Ccont를 통해 오염을 측정한다. 한계: 표면적 문장 일치 기반 탐지는 회피 오염에 취약하다. 해법: CoT truncation으로 추론을 무시하고 Memorization 맵핑을 직접 확인한다. 측정 지표로 Acc, Con, Pfirst, Pall를 정의하며, 컨트롤로 D̃eval을 수학적으로 동등한 난이도의 데이터로 생성한다. Contamination Confidence는 bootstrap과 Bayes Factor를 통해 계산(Classic p-value를 Bayes 관점으로 보정). 데이터 생성 파이프라인은 Generator + Judge 두 LLM으로 구성되며, Judge 두 명의 합의로 D̃eval에 샘플을 최종 삽입한다. 또한 SFT/GRPO의 Two-stage Fine-Tuning으로 evasive contamination를 재현한 모델들을 평가한다.

실험에서 ZCP는 원 데이터와 paraphrased 데이터에서 D̃eval 대비 성능 저하를 유도하여 오염을 음각한다. 예: 기존 모델에서 GSM8K/MATH의 ACC, Con, Pfirst, Pall에서 원본 대비 제로-CoT로의 성능 차이가 큼. Ccont는 대부분의 contaminated 세트에서 >0.998에 접근했고, GSM1K 같은 클린 벤치마크에선 약 0.500 수준으로 나타났다. Finetuned 모델의 Dataset C에서 Ccont는 1.000에 수렴했고, Dataset U에서는 약 0.500으로 유지되었다. 실세계 모델(Open-weight: Qwen-2.5-Math, Qwen-3; Closed-source: GPT-4o, GPT-5.1)에서 MEMO가 확인되었고, GPT-4o는 GSM8K/MATH-500에서 확정 오염 신호를 보였다. 코드 링크를 통해 재현 가능성 확보.

구성: 전체 아키텍처는 CoT를 트런치하는 Generator-자세한 파이프라인, Judge LLM 두 명으로 구성된 자동화된 D̃eval 생성기. 수학적 기초는 Non-parametric Bootstrap으로 Pfirst/Pall의 유의성을 평가하고, Acc/Con은 McNemar로, BF10을 통해 Contamination Confidence를 계산한다. D̃eval은 xi의 구조를 보존하되 수치를 바꾼 x̃i로 구성되며 c̃i, ỹi를 재계산한다. 원-데이터 Deval과 D̃eval 간의 차이는 memorization의 존재 여부를 나타내며, 이 차이가 크면 Ccont가 1에 가깝게 수렴한다.