LLM 프롬프트 반복이 성능을 향상시키는 이유: 인과적 어텐션의 구조적 한계

섹션별 상세

구글 연구진은 비추론 작업에서 동일한 프롬프트를 반복 입력하는 단순한 기법이 모델의 출력 품질을 직접적으로 개선한다는 실험 결과를 발표했다.

Daoud Clarke는 이 현상의 원인을 트랜스포머의 인과적 어텐션 구조에서 찾았으며, 시퀀스 앞부분의 토큰이 뒷부분의 정보를 참조할 수 없는 단방향성 제약이 프롬프트의 완전한 이해를 방해한다고 분석한다.

프롬프트 세그먼트 내에서 양방향 어텐션을 허용하는 세그먼트 기반 어텐션 마스킹 기법을 적용하면 프롬프트 반복 없이도 구조적 한계를 극복하고 성능을 최적화할 수 있다.

수년간의 모델 확장과 RLHF 튜닝에도 불구하고 기초적인 아키텍처 제약이 여전히 성능에 영향을 미친다는 사실은 데이터 중심의 접근만큼이나 아키텍처 개선 연구가 필수적임을 시사한다.

인과적 어텐션(Causal Attention): — 현재 토큰이 시퀀스 상의 이전 토큰들만 참조할 수 있도록 제한하는 메커니즘이다. 생성형 모델의 자기회귀적 특성을 유지하기 위해 필수적이지만, 입력 프롬프트의 초기 토큰이 전체 맥락을 파악하는 데 방해가 되는 구조적 한계를 지닌다.
양방향 어텐션(Bidirectional Attention): — 특정 토큰이 시퀀스 내의 앞뒤 모든 토큰을 동시에 참조할 수 있는 방식이다. 문맥의 전체적인 의미를 파악하는 데 유리하며, 프롬프트 이해 단계에서 이 방식을 적용하면 인과적 어텐션의 단방향성 제약을 극복할 수 있다.
어텐션 마스킹(Attention Masking): — 모델이 특정 토큰을 참조하지 못하도록 행렬 연산 과정에서 가중치를 조절하는 기법이다. 특정 세그먼트 내에서는 양방향 소통을 허용하고 세그먼트 간에는 인과성을 유지하는 등 정보의 흐름을 정교하게 제어하는 데 사용된다.
인간 피드백 기반 강화학습(RLHF): — 인간의 선호도를 보상 모델로 학습시켜 언어 모델의 출력을 인간의 의도에 맞게 정렬하는 기법이다. 모델의 답변 품질을 높이는 데 효과적이지만, 트랜스포머 아키텍처 자체가 가진 근본적인 계산 구조의 한계를 해결하지는 못한다.