LLM 컨텍스트 길이가 늘어날 때 연산 비용이 제곱으로 증가하는 이유.

LLM의 컨텍스트 길이가 늘어날 때 연산 비용이 제곱으로 증가하는 이유는 어텐션 메커니즘의 구조적 특성 때문이다. 모든 토큰이 서로를 참조하는 '모두 대 모두' 비교 방식은 입력 토큰 수($n$)가 두 배가 될 때 연산량과 메모리 사용량을 4배($n^2$)로 늘린다. 이러한 이차식 비용은 연산 속도 저하와 GPU 메모리 부족을 유발하며, 이를 해결하기 위해 슬라이딩 윈도우나 희소 어텐션 같은 최적화 기법이 사용된다. 긴 프롬프트를 사용할 때 불필요한 문맥을 제거하는 것이 가장 효과적인 비용 절감 방법이다.