사라진 메모리 계층 구조: LLM 컨텍스트 윈도우를 위한 요구 페이징 기법

현재 대형 언어 모델(LLM)의 컨텍스트 윈도우는 운영체제의 메모리 계층 구조 없이 단순한 L1 캐시처럼 사용되어 심각한 자원 낭비를 초래하고 있다. 본 연구는 이를 해결하기 위해 클라이언트와 추론 API 사이에서 동작하는 투명 프록시 기반의 요구 페이징 시스템인 Pichay를 제안한다. Pichay는 오래된 콘텐츠를 축출하고 모델이 다시 요청할 때 페이지 폴트를 감지하여 필요한 데이터를 다시 불러오는 방식으로 작동한다. 실험 결과 실제 운영 환경에서 컨텍스트 소비를 최대 93%까지 줄이면서도 0.0254%라는 매우 낮은 오류율을 유지했다.