GenericAgent: 문맥 정보 밀도 극대화를 통한 토큰 효율적 자기 진화형 LLM 에이전트 (V1.0)

긴 작업 수행 시 발생하는 문맥 폭발 문제를 해결하기 위해 정보 밀도 극대화라는 새로운 설계 원칙을 제시한다. 단순한 문맥 확장 대신 계층적 메모리와 자기 진화 메커니즘을 통해 비용은 낮추면서도 복잡한 작업 성공률을 획기적으로 높였다.

기존 LLM 에이전트는 작업이 길어질수록 불필요한 로그와 도구 설명이 쌓여 정작 중요한 정보를 놓치는 '문맥 폭발' 문제에 직면한다. 이는 Transformer의 Attention 메커니즘이 모든 토큰에 주의를 분산시키기 때문에 발생하는 한계로, 문맥이 길어질수록 의사결정 품질이 오히려 저하되는 현상을 초래한다.

GenericAgent는 이 문제를 해결하기 위해 '정보 밀도'라는 개념을 도입한다. 모든 정보를 프롬프트에 상주시키는 대신, 계층적 메모리 구조를 통해 현재 단계에 꼭 필요한 정보만 '온디맨드' 방식으로 주입한다. 이는 운영체제의 가상 메모리 관리와 유사하게, 자주 쓰는 데이터는 캐시(L1)에 두고 상세 데이터는 디스크(L4)에서 필요할 때만 읽어오는 방식이다.

결과적으로 에이전트는 항상 30k 토큰 미만의 압축된 고밀도 문맥만 유지하면서도, 자기 진화 메커니즘을 통해 과거의 성공 경험을 코드로 정제하여 재사용한다. 이는 모델이 매번 처음부터 추론할 필요 없이 이미 검증된 로직을 실행하게 함으로써, 연산 효율성과 작업 안정성을 동시에 확보하는 원리이다.

GA는 네 가지 핵심 컴포넌트를 통해 문맥 밀도를 관리한다. 첫째, 9개의 원자적 도구(file_read, code_run, web_scan 등)를 조합하여 복잡한 기능을 수행하는 최소 도구 설계를 채택했다. 둘째, 메모리를 L1(인덱스), L2(사실), L3(SOP), L4(원본)로 계층화하여 관리하며, L1만 상시 노출하고 나머지는 도구 호출로 접근한다.

셋째, 자기 진화 파이프라인은 성공한 궤적을 [자연어 실행 → SOP 추출 → 코드화]의 3단계를 거쳐 정제한다. 넷째, 문맥 절단 및 압축 레이어는 CH(총 문자 길이)가 예산 B를 초과할 때 작동한다. CH = Σ len(m), B = α · W_tokens (α≈3) 공식을 사용하여 토큰 수를 문자로 근사 계산하고, [도구 출력 절단 → 태그 레벨 압축 → 메시지 축출 → 앵커 프롬프트 주입] 순으로 문맥을 정리한다.

특히 앵커 프롬프트는 최근 20개 턴의 요약과 핵심 정보를 포함하여, 오래된 메시지가 삭제되어도 작업의 연속성을 보장한다. 모든 도구 출력은 미리 정의된 임계값(L)에 따라 중간 생략(Ellipsis) 처리를 거쳐 문맥에 삽입된다.

GA는 SOP-Bench, Lifelong AgentBench, RealFin-benchmark에서 기존 에이전트 시스템을 압도하는 성능을 보였다. 특히 Lifelong AgentBench에서 Claude Sonnet 4.6 기반으로 100%의 성공률을 기록하면서도, 입력 토큰 사용량은 Claude Code 대비 약 27.7%, OpenClaw 대비 15.5% 수준에 불과했다.

자기 진화 실험에서는 동일한 GitHub 연구 작업을 반복 수행할 때, 1회차 대비 9회차에서 실행 시간은 78.2%, 토큰 소모량은 89.6% 감소하는 '효율성 수렴' 현상을 입증했다. 이는 에이전트가 경험을 통해 최적화된 코드를 생성하고 이를 재사용함으로써 불필요한 추론 과정을 생략했기 때문이다.

웹 브라우징 성능에서도 GA는 WebCanvas 벤치마크에서 0.834점을 기록하며 OpenClaw(0.72)를 앞섰고, 토큰 소모량은 약 4분의 1 수준(0.18M vs 0.71M)으로 억제했다. 이는 HTML 원문을 그대로 넣지 않고 구조화된 관찰 정보만 추출하여 제공한 결과이다.

GA의 아키텍처는 모델 불가지론적(Model-agnostic) 설계로, 추론 엔진(Claude, GPT, Gemini 등)을 자유롭게 교체할 수 있다. 핵심은 92라인의 간결한 에이전트 루프이며, 전체 코드베이스는 약 3,300라인으로 구성되어 유지보수가 용이하다. 이는 수십만 라인에 달하는 기존 프레임워크와 대조적이다.

메모리 시스템은 메타 메모리 레이어를 통해 관리되며, L1 인덱스 레이어는 지식 카테고리의 존재 유무만 기록하여 Kolmogorov 복잡도에 근접하는 극단적인 압축률을 유지한다. 자기 진화 과정에서 'No Execution, No Memory' 원칙을 적용하여, 실제 도구 실행을 통해 검증된 정보만 상위 메모리 계층으로 승격시켜 메모리 오염을 방지한다.

실패 대응을 위해 3단계 에스컬레이션 메커니즘을 도입했다. [국소적 조정 → 전략 변경/정보 검색 → 인간 개입 요청] 순으로 대응하여 에이전트가 무한 루프에 빠지는 것을 방지한다. 또한 CLI 기반 인터페이스를 통해 서브에이전트 파견(Subagent Dispatch)과 감시 모드(Reflect Mode)를 별도의 아키텍처 확장 없이 구현했다.

현재 30라운드의 실행 제한이 있어 매우 복잡한 연구 작업은 여러 세션에 걸쳐 수행해야 하며, 세션 간 연속성은 보고서와 주석에 의존한다. 또한 반성 기반의 가중치 조정 메커니즘은 아직 초기 단계로, 다양한 실제 사용자 워크플로우에서의 장기적인 효과 검증이 더 필요하다.