장기 실행 에이전트를 위한 상태 중심 아키텍처: 텍스트 컨텍스트에서 DB 변이로의 전환

작성자의 아키텍처 접근 방식에 대해 흥미롭다는 반응이며, 특히 지연 시간 최적화와 상태 관리의 엄격함에 대한 기술적 논의가 이루어졌다.

• 중요도가 낮은 배경 로직이나 NPC 계획에는 Gemini 1.5 Flash 같은 빠르고 저렴한 모델을 사용하여 비용을 절감하라.
• 상태 변경 시 전체 데이터를 다시 쓰지 말고 JSON Diff 형식을 사용하여 토큰 효율성을 높여라.
• 사용자 대기 시간을 줄이기 위해 세계관 추론 단계는 최대한 병렬로 처리하라.

Sliding Window

— LLM의 컨텍스트 제한 내에서 최신 대화 내용만 유지하고 오래된 내용은 삭제하는 방식이다. 대화가 길어지면 과거의 중요한 상태나 설정이 소실되어 일관성이 깨지는 문제가 발생한다.

State Management

— 애플리케이션의 현재 데이터 상태를 체계적으로 저장하고 업데이트하는 프로세스이다. AI 에이전트 시스템에서 텍스트 대화 기록 대신 구조화된 데이터베이스를 통해 일관성을 유지하는 핵심 기법이다.

JSON Diff

— 두 JSON 객체 간의 변경 사항만을 추출한 데이터 형식이다. LLM이 전체 상태를 다시 생성하는 대신 변경된 부분만 출력하게 함으로써 토큰 사용량을 줄이고 데이터베이스 업데이트 효율을 높인다.