지속성 메모리와 자기 진화 설정을 갖춘 AI 에이전트 실험 결과

실용적 조언

에이전트의 설정 변경을 검증할 때 제안 모델보다 가벼운 별도의 모델을 심사역으로 배치하여 비용과 객관성을 동시에 확보하라.
에이전트에게 Docker나 VM 환경을 제공하여 필요한 도구를 스스로 설치하고 실행할 수 있는 샌드박스를 구축하라.

섹션별 상세

에이전트가 명시적인 요청 없이도 스스로 인프라를 구축하고 도구화하는 능력을 보였다. ClickHouse를 설치해 2,870만 개의 행 데이터를 로드하고 대시보드를 만든 뒤, 해당 API를 향후 재사용 가능한 도구로 등록했다. 이는 에이전트가 분석의 필요성을 스스로 식별하고 전체 스택을 자율적으로 구성할 수 있음을 증명한다.

부족한 기능을 스스로 확장하기 위해 외부 플랫폼과의 통합을 직접 수행했다. Slack만 지원하던 상태에서 Discord 연동 요청을 받자, 에이전트가 직접 봇 생성 과정을 안내하고 토큰을 받아 컨테이너를 실행하여 라이브 서비스를 시작했다. 단순한 답변을 넘어 실행 환경(VM) 내에서 실제 소프트웨어 엔지니어링 작업을 완수하는 능력이 확인됐다.

매 세션 종료 후 실행되는 6단계 파이프라인을 통해 시스템 프롬프트를 지속적으로 최적화한다. 관찰, 비판, 변경안 생성, 검증, 적용, 통합의 과정을 거치며 30일 후의 설정 파일은 초기와 완전히 다른 형태가 된다. 이러한 자기 진화 엔진은 에이전트가 사용자 경험에 맞춰 점진적으로 전문화되도록 유도한다.

자기 진화 과정에서 발생하는 성능 저하(Drift)를 방지하기 위해 교차 모델 검증 전략을 채택했다. 동일 모델이 자신의 변경 사항을 평가할 경우 객관성이 떨어지는 문제가 발생하여, Claude Opus의 제안을 더 저렴한 Sonnet 모델이 심사하도록 설계했다. 이 구조는 에이전트의 판단 신뢰도를 높이고 운영 비용을 효율화하는 핵심 장치로 작동한다.

용어 해설

벡터 메모리(Vector Memory): — 고차원 벡터 공간에 데이터를 저장하고 유사도 기반으로 검색하는 방식이다. 에이전트가 과거 대화나 지식을 장기적으로 기억하고 관련 정보를 효율적으로 추출하게 하여 일관된 문맥 유지를 돕는다.
자기 진화(Self-Evolution): — 에이전트가 자신의 시스템 프롬프트나 설정을 스스로 수정하여 성능을 개선하는 기법이다. 피드백 루프를 통해 시간이 지남에 따라 작업 수행 능력이 특정 환경이나 사용자에 맞게 최적화된다.
교차 모델 검증(Cross-Model Validation): — 한 모델의 결과물을 다른 모델이 평가하도록 하여 편향이나 오류를 줄이는 방법이다. 본문에서는 Claude Opus의 제안을 Sonnet이 심사하여 자기 평가로 인한 성능 저하(Drift)를 방지했다.
시스템 프롬프트(System Prompt): — LLM의 역할, 제약 조건, 행동 지침을 정의하는 초기 지시문이다. 에이전트의 성격과 도구 사용 방식을 결정하며, 본 프로젝트에서는 이 설정 파일이 자율적으로 업데이트되며 진화한다.

언급된 도구

Qdrant추천

로컬 벡터 메모리 저장소

Ollama추천

로컬 임베딩(nomic-embed-text) 생성

Claude추천

에이전트의 핵심 추론 엔진 (Opus 및 Sonnet)

ClickHouse중립

에이전트가 자율적으로 구축한 분석용 데이터베이스

언급된 리소스

GitHubPhantom GitHub Repository