Transformer의 암시적 연역 추론에 대한 스케일링 특성 연구

기존 AI 모델은 복잡한 문제를 풀 때 단계별로 생각하는 Chain-of-Thought 과정이 필수적이었으나, 이 논문은 모델의 깊이를 충분히 확보하고 적절한 학습 기법을 적용하면 중간 과정 없이도 높은 수준의 추론이 가능함을 입증했다. 이는 AI의 내부 사고 과정을 효율화하고 추론 속도를 획기적으로 개선할 수 있는 이론적 토대를 제공한다.

Transformer의 핵심인 Self-Attention은 기본적으로 병렬 연산에 최적화되어 있어, 순차적인 논리 단계가 필요한 연역 추론을 단일 forward pass에서 수행하기 어렵다는 한계가 있다. 기존 연구들은 이를 해결하기 위해 모델이 중간 사고 과정을 텍스트로 출력하게 만드는 Chain-of-Thought(CoT)에 의존해 왔다.

이 논문은 모델의 레이어 깊이(L)가 논리적 깊이(δ)보다 충분히 깊을 때(L ≫ δ), 모델 내부의 은닉 상태가 여러 레이어를 거치며 점진적으로 논리적 결론을 정제할 수 있다는 점에 주목한다. 이는 마치 복잡한 계산을 한 번에 끝내는 대신, 여러 층의 신경망이 각 층마다 논리적 전개(Forward-chaining)의 한 단계를 담당하여 최종 층에서 정답에 도달하는 원리와 같다.

결과적으로 모델은 겉으로 드러나는 사고 과정 없이도 내부적인 '계산적 중복성'을 활용해 CoT와 유사한 수준의 추론을 수행하게 된다. 특히 128 레이어까지 모델을 깊게 쌓았을 때, 훈련 범위 내의 논리 문제에서 암시적 추론과 CoT 사이의 성능 격차가 거의 사라짐을 확인했다.

모델 아키텍처는 Llama 3 기반의 Decoder-only Transformer를 사용하되, 토큰의 논리적 역할(fact, rule, query 등)을 명시하는 Type Embedding 시스템을 도입했다. 입력 토큰 ID에 해당하는 임베딩과 해당 토큰의 논리적 역할을 나타내는 임베딩 벡터를 합산하여 [입력 토큰 + 역할 정보 → 벡터 합산 → 풍부한 의미를 담은 입력 벡터] 과정을 거쳐 모델에 전달한다.

학습 전략으로는 Corrective Objective를 제안했다. 이는 단일 시퀀스 내에 직접 예측 결과와 CoT 경로를 동시에 배치하고, Isolated Attention Mask를 적용하여 [문제 정의 → 직접 정답 → CoT 경로] 순으로 구성하되 직접 정답 분기가 CoT 경로를 미리 보지 못하게 차단한다. 이를 통해 모델은 두 추론 모드가 공유하는 핵심 논리 요소를 동시에 학습하며, Cross-entropy Loss를 통해 정답 확률 분포와 실제 정답 사이의 차이를 줄이는 방향으로 가중치를 갱신한다.

데이터셋 구성 시 r2 휴리스틱을 적용하여 지름길 학습(Shortcut learning)을 차단한다. 정답이 반대인 두 문제 쌍을 만들되 단어 빈도 등 표면적 통계는 거의 동일하게 유지하여, 모델이 [표면적 특징 입력 → 단순 선형 분류 → 오답]이 아닌 [그래프 구조 분석 → 비선형 추론 → 정답] 과정을 밟도록 유도한다.

8 레이어 모델에서 제안된 기법들을 적용했을 때, LP 데이터셋의 직접 예측 정확도가 기존 베이스라인 대비 약 18.9%p 향상되었다. 특히 양방향 마스크(Bidirectional mask)는 모든 설정에서 일관되게 성능을 높이는 핵심 요소로 나타났다.

모델 깊이 스케일링 실험에서 레이어 수를 8개에서 128개로 늘렸을 때, 훈련 데이터의 논리 깊이(δ ≤ 6) 범위 내에서 암시적 추론의 정확도가 CoT 성능과 통계적으로 차이가 없는 수준까지 도달했다. 이는 깊은 모델이 CoT의 명시적 단계를 내부 레이어 연산으로 대체할 수 있음을 보여준다.

Procrustes Alignment를 이용한 분석 결과, 레이어가 깊어질수록 모델 내부의 은닉 상태에서 논리적 결론(Provability)을 추출하기 쉬워지는 경향이 확인되었다. 이는 모델이 레이어를 거치며 점진적으로 논리적 상태를 업데이트하고 있음을 시사한다.

본 연구는 깊이 제한이 있는 Transformer가 Horn 절에 대한 연역 추론을 수행할 때의 계산 한계를 P-completeness 이론과 연결하여 설명한다. 순차적 연산이 필수적인 Forward-chaining 특성상, 모델의 레이어 수 L이 논리적 깊이 δ보다 작으면 암시적 추론이 실패할 가능성이 높음을 이론적으로 제시한다.

아키텍처 측면에서는 Universal Transformer(가중치 공유 재귀 레이어)와 표준 Transformer를 비교 분석했다. 실험 결과, 표준 구조에서는 FFN(Feed-Forward Network)의 기여도가 낮았으나, Universal Transformer 설정에서는 FFN이 논리적 재귀 연산을 돕는 핵심적인 역할을 수행하여 성능을 유의미하게 향상시켰다.

학습 시 RMSNorm 파라미터에 Weight Decay를 적용하는 것이 수렴에 필수적임을 발견했다. 이는 모델이 특정 차원을 억제하거나 증폭함으로써 하위 공간(Subspace) 투영을 관리하고, 중첩된 특징들 사이에서 노이즈를 걸러내는 메커니즘으로 해석된다.

본 연구는 통제된 환경의 합성 데이터(Horn clauses)와 짧은 컨텍스트를 가진 토이 모델을 대상으로 수행되었다. 따라서 제안된 기법들이 다중 대화 맥락이나 훨씬 더 복잡한 1차 논리(First-order logic), 자연어 추론 등 실제 세계의 복잡한 도메인으로 얼마나 잘 확장될지는 추가적인 검증이 필요하다.