메모리 파편화
메모리가 할당되고 해제되는 과정에서 사용 가능한 공간이 작은 조각으로 나뉘어 효율성이 떨어지는 현상이다. LLM 추론에서는 시퀀스 길이를 미리 예측하기 어려워 최대 길이에 맞춰 메모리를 예약할 때 낭비되는 공간이 발생하여 GPU 자원 활용도를 저해한다.