강건한 추론 벤치마크: LLM 추론 과정의 구조적 취약성 및 내부 쿼리 어텐션 희석 현상 분석

표준적인 수학 벤치마크에서 높은 점수를 받는 LLM들이 실제로는 논리적 추론이 아닌 텍스트 패턴 매칭에 과적합되어 있음을 증명했다. 특히 모델이 스스로 생성한 중간 추론 단계가 이후의 추론 능력을 저하시키는 '내부 쿼리 어텐션 희석' 현상을 발견하여 차세대 추론 아키텍처의 방향성을 제시한다.

Transformer의 Self-Attention은 시퀀스 내의 모든 토큰이 서로를 참조할 수 있게 설계되어 있다. 하지만 이 논문은 이러한 '무제한적 참조'가 복잡한 추론 과정에서는 오히려 독이 된다는 점을 지적한다. 모델이 문제를 풀기 위해 생성한 중간 추론 단계(Chain-of-Thought)의 토큰들이 Attention Matrix를 가득 채우면서, 정작 중요한 문제의 핵심 조건이나 다음 단계의 논리에 집중해야 할 '어텐션 자원'을 희석시키기 때문이다.

연구진은 이를 확인하기 위해 수학 문제의 텍스트를 거울에 비친 것처럼 뒤집거나(Word Reversal), 지그재그 그리드 형태로 배치(Rail Fence Cipher)하는 등 인간에게는 사소하지만 모델의 토큰화 및 어텐션 구조에는 치명적인 변환을 가했다. 그 결과, 모델들은 텍스트의 의미를 파악하기보다 훈련 데이터에서 본 익숙한 '시각적 패턴'에 의존하고 있었음이 드러났다.

결국 현재의 LLM은 긴 추론 과정에서 발생하는 '노이즈'를 스스로 걸러내지 못하는 구조적 한계를 가지고 있다. 이를 해결하기 위해서는 모델이 한 단계를 마칠 때마다 불필요한 중간 정보를 비워내고 핵심 상태만 요약하여 다음 단계로 넘기는 '작업 기억(Working Memory) 격리' 메커니즘이 아키텍처 수준에서 통합되어야 한다.

AIME 2024 데이터셋을 기반으로 14가지의 결정론적 구조 변환 파이프라인을 구축했다. 변환은 크게 네 가지 카테고리로 나뉜다. 1) Semantic/Lexical(이중 부정 삽입 등), 2) Contextual Overload(문제 간 문장/단어 단위 교차 배치), 3) Syntactic Distortions(단어/문장 순서 역전), 4) Visual/Spatial Encoding(텍스트를 2D 그리드 좌표로 매핑)이다.

모델에게 변환 규칙을 자연어로 명시적으로 제공한 후, 2단계 궤적(Two-stage trajectory)을 따르도록 지시했다. 먼저 입력된 변환 텍스트를 원래의 수학 문제로 복구(Decode)하는 과정을 거치고, 그 다음 복구된 문제를 바탕으로 수학적 추론을 수행하여 최종 정답을 도출하도록 했다. [변환된 텍스트와 규칙 입력 → 디코딩 연산 → 복구된 문제 문장 출력 → 추론 연산 → 최종 정답 도출] 순으로 진행하여 디코딩 실패와 추론 실패를 분리하여 분석했다.

Intra-Query Attention Dilution 측정을 위해 단일 프롬프트 내에 여러 개의 독립적인 AIME 문제를 순차적으로 배치했다. 모델이 이전 문제들을 풀면서 생성한 토큰들이 마지막 '타겟 문제'의 정확도에 미치는 영향을 측정했으며, 이때 이전 문제들의 정답 여부와 상관없이 마지막 문제의 정확도 변화 추이를 분석하여 어텐션 오염 정도를 수치화했다.

폐쇄형 모델인 GPT-5.4와 Gemini 3.1 Pro는 텍스트 변환 시 각각 7%, 10% 수준의 낮은 정확도 하락을 보이며 강건함을 유지했다. 반면 오픈소스 모델인 Nemotron-7B는 55%, Qwen3-30B는 47%의 평균 정확도 폭락을 경험했다. 특히 기호 단위로 텍스트를 섞는 변환(Interleave Symbol, Rail Fence)에서 오픈소스 모델들은 0%에 가까운 정확도를 기록하며 BPE 토큰화 경계 파괴에 극도로 취약함을 보였다.

Claude 4.6 Opus는 41.7%의 정확도 하락을 보였는데, 이는 추론 실패보다 '거부(Refusal)'가 주된 원인이었다. 복잡한 기호 조작을 포함한 프롬프트를 안전 필터가 탈옥 시도로 오인하여 처리를 거부하는 현상이 관찰되었다.

Attention Dilution 실험에서 오픈소스 모델들은 컨텍스트 내 문제 수가 늘어날수록 정확도가 선형적으로 감소했다. 7B부터 120B 모델까지 규모에 상관없이 공통적으로 나타났으며, 이는 모델 크기 증대만으로는 해결되지 않는 Dense Attention 아키텍처 고유의 한계임을 시사한다.

연구진은 LLM의 추론이 '추상적 논리 조작'이 아닌 '표면적 텍스트 확률'에 과도하게 의존하고 있음을 지적한다. 특히 오픈소스 모델들이 Syntactic Distortions와 Visual Encodings에서 궤멸적인 성적을 낸 것은, 이들이 학습 과정에서 1D 텍스트의 좌측에서 우측으로 흐르는 순차적 패턴에만 최적화되었기 때문이다.

수학적으로 Dense Attention은 모든 과거 토큰에 동일한 가중치 공간을 할당하므로, 추론 단계가 길어질수록 노이즈가 누적되는 구조다. 논문은 이를 해결하기 위해 'micro-context isolation' 개념을 제안한다. 이는 모델이 스스로 중간 상태를 요약하고 불필요한 'scratchpad'를 비워내는 메커니즘이다.

또한, 최근 유출된 Google의 AntiGravity 프레임워크 등에서 발견된 <task_boundary_tool>과 같은 명시적 도구가 산업계에서 이미 이러한 어텐션 희석 문제를 해결하기 위해 사용되고 있음을 증거로 제시하며, 이를 모델 내부 아키텍처로 내재화하는 연구의 중요성을 강조한다.

본 연구는 AIME 2024라는 특정 수학 데이터셋에 집중되어 있어 다른 도메인으로의 일반화 가능성은 추가 검증이 필요하다. 또한, 폐쇄형 모델의 경우 내부 작동 방식을 알 수 없어 정확한 실패 원인 분석에 한계가 있다.