KV 캐시 압축을 통한 롱호라이즌 에이전트의 메모리 문제 해결

롱호라이즌 에이전트가 직면한 가장 큰 기술적 장벽 중 하나는 문맥이 길어짐에 따라 KV 캐시가 선형적으로 증가하여 발생하는 메모리 부족 문제이다. Baseten 연구팀은 이를 해결하기 위해 Sparse Autoencoder(SAE)를 활용하여 KV 캐시를 압축하고 중요한 정보를 거의 손실 없이 복원하는 메커니즘을 제안한다. 이 방식은 단순히 토큰을 선택하는 수준을 넘어 정보를 합성하고 압축하며, 반복적인 다듬기 과정을 통해 고정된 메모리 크기 내에서 긴 문맥을 유지하게 한다. 최종적으로 압축된 캐시는 가중치에 정보를 저장하는 MLP와 유사한 구조로 기능하며, 이는 에이전트의 추론 효율성을 획기적으로 높이는 결과로 이어진다.