트랜스포머의 '두드러짐의 저주': 왜 모델은 의미보다 표면적 강조에 속는가

실용적 조언

프롬프트 설계 시 '중요', '필독'과 같은 강조어 사용이 모델의 어텐션을 왜곡할 수 있음을 인지하고 사용에 주의해야 한다.
Chain-of-Thought(CoT) 프롬프팅을 활용하면 모델이 구조적으로 사고하도록 강제하여 표면적 두드러짐에 의한 오류를 줄일 수 있다.
Few-shot 예시를 제공하는 것은 모델의 어텐션 관리를 돕고 특정 패턴에 매몰되지 않게 하는 효과적인 전략이다.

섹션별 상세

트랜스포머의 어텐션 공식에서 소프트맥스(Softmax) 함수는 입력값 간의 작은 차이를 지수적으로 증폭시킨다. 이로 인해 가장 '강한' 신호를 가진 토큰이 단순히 우위를 점하는 것을 넘어 문맥 전체의 가중치를 독점하는 현상이 발생한다. 이는 모델이 문장의 실제 의미보다 시각적으로 눈에 띄는 요소에 압도당하게 만드는 근본적인 수학적 원인이다.

text

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) · V

트랜스포머의 핵심인 어텐션 메커니즘의 수학적 공식

텍스트에서 '두드러짐(Salience)'을 유발하는 요소로는 대문자 표기(IMPORTANT), 반복되는 단어, 특수 기호(===), 감정적인 언어 등이 있다. 이러한 요소들은 초기 레이어에서 어텐션 유도체(Attention Attractors)로 작용하며, 잔차 연결(Residual Stream)을 통해 이후 모든 레이어의 판단을 왜곡하는 '두드러짐 폭포(Salience Cascade)' 현상을 일으킨다.

트랜스포머는 의미 추출기가 아닌 시퀀스 프로세서로 작동하기 때문에 표면적 변동에 취약하다. 'Alice가 Bob에게 책을 주었다'와 '책이 Alice에 의해 Bob에게 전달되었다'는 의미가 같음에도 불구하고, 모델은 토큰의 순서나 특정 단어의 두드러짐에 따라 이를 다르게 처리할 수 있다. 이는 모델이 관계 구조를 파악하기보다 표면적 패턴에 의존하고 있음을 보여준다.

프롬프트 인젝션 공격은 이러한 구조적 특성을 직접적으로 악용한다. 문서 내에 삽입된 강한 강조 표현의 공격 구문은 모델의 어텐션을 강제로 탈취하여 원래의 시스템 지시사항을 무시하게 만든다. 이는 단순한 소프트웨어 버그가 아니라 트랜스포머 아키텍처의 어텐션 계산 방식에 내재된 보안 취약점이다.

용어 해설

어텐션 메커니즘(Attention Mechanism): — 입력 시퀀스의 각 토큰이 서로 얼마나 관련이 있는지 계산하여 가중치를 부여하는 기술이다. 트랜스포머의 핵심으로, 특정 정보에 집중하게 함으로써 문맥 파악을 가능하게 하나 표면적 특징에 취약할 수 있다.
소프트맥스 함수(Softmax Function): — 입력받은 값을 0과 1 사이의 확률값으로 변환하는 함수이다. 지수 함수를 사용하기 때문에 입력값 간의 작은 차이를 매우 큰 가중치 차이로 증폭시켜 가장 강한 신호가 전체를 지배하게 만든다.
프롬프트 인젝션(Prompt Injection): — 악의적인 입력을 통해 AI 모델의 원래 지시사항을 무시하고 공격자가 의도한 명령을 수행하게 만드는 공격 기법이다. 모델이 시스템 프롬프트보다 입력된 텍스트의 강한 신호에 우선순위를 두는 취약점을 악용한다.
잔차 스트림(Residual Stream): — 트랜스포머 레이어를 거치며 정보가 더해지고 전달되는 통로이다. 초기 레이어에서 발생한 특정 토큰의 강한 영향력이 이 스트림을 타고 모델 전체 층으로 전파되어 최종 출력에 결정적인 영향을 미친다.
의미론적 불변성(Semantic Invariance): — 문장의 표면적인 어순이나 표현 방식이 바뀌더라도 그 근본적인 의미는 동일하게 유지되어야 한다는 개념이다. 현재의 트랜스포머는 텍스트의 외형적 변화에 따라 의미 해석이 달라지는 한계를 보인다.