LLM 메모리를 프로그램 분석 엔진으로 전환하기: Lemmalog

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 에이전트가 복잡한 취약점 연구를 수행할 때 이전 추론을 잊거나 잘못된 가정에 기반해 판단하는 문제를 해결하기 위해, Datalog 기반의 메모리 시스템인 Lemmalog가 개발되었다. 이 시스템은 LLM이 생성한 자연어 정보를 구조화된 사실과 규칙으로 변환하여, 사실이 변경될 때 자동으로 관련 결론을 무효화하고 추론의 근거를 추적한다. 벤치마크 결과, Lemmalog는 전체 대화 기록을 프롬프트에 포함하는 방식보다 훨씬 적은 토큰으로도 유사하거나 더 나은 성능을 보이며, 특히 지식 업데이트와 시간적 추론에서 강점을 나타냈다.

섹션별 상세

LLM 에이전트가 장시간 취약점 연구를 수행할 때, 이전에 확립한 사실을 잊거나 이미 반박된 가정을 기반으로 잘못된 추론을 이어가는 문제가 발생했다. 기존의 벡터 데이터베이스 기반 메모리는 단순 검색에는 유용하지만, 사실 간의 의존성이나 논리적 일관성을 유지하는 데 한계가 있었다.

text

controls_kernel_object(Attacker) :-
  controls(Attacker, ObjectA),
  points_to(ObjectA, ObjectB),
  kernel_object(ObjectB).

Datalog를 사용하여 공격자가 커널 객체를 제어하는지 판단하는 논리 규칙 예시

Lemmalog는 LLM을 프론트엔드로 활용하여 자연어 정보를 구조화된 사실로 변환하고, 이를 Datalog 엔진에서 처리한다. 사실이 변경되거나 삭제될 때, 시스템은 해당 사실에 의존하는 모든 파생 결론을 자동으로 무효화하며, 각 결론이 어떤 사실로부터 도출되었는지 추적하여 논리적 근거를 제공한다.

LongMemEval 및 LoCoMo 벤치마크 테스트 결과, Lemmalog는 전체 대화 기록을 프롬프트에 넣는 방식 대비 약 6~38배 적은 토큰을 사용하면서도 지식 업데이트와 시간적 추론에서 우수한 성능을 보였다. 특히 LoCoMo의 적대적 질문 카테고리에서 0.707 F1 점수를 기록하며, 잘못된 전제를 거부하는 능력을 입증했다.

이 접근 방식은 LLM의 컨텍스트 윈도우를 무한정 늘리는 대신, 추론 상태를 구조적으로 유지함으로써 에이전트의 신뢰성과 효율성을 높인다. LLM이 생성한 확률적 결과물을 결정론적인 분석 엔진과 결합함으로써, 복잡한 연구 과정에서 발생하는 논리적 오류를 방지하고 에이전트의 판단 근거를 명확히 한다.

용어 해설

데이터로그(Datalog): — 사실과 규칙을 정의하여 새로운 정보를 추론하는 선언적 논리 프로그래밍 언어이다. 데이터베이스 질의 및 프로그램 분석 분야에서 복잡한 관계를 결정론적으로 계산하는 데 사용된다.
데이터 출처(Provenance): — 데이터가 생성되거나 파생된 근거를 추적하는 개념이다. Lemmalog에서는 특정 결론이 어떤 사실과 규칙을 통해 도출되었는지 기록하여, 논리적 근거를 확인하고 오류를 수정하는 데 활용된다.
고정점(Fixed Point): — Datalog와 같은 논리 엔진에서 모든 규칙을 적용하여 더 이상 새로운 사실을 도출할 수 없는 상태이다. 시스템이 알고 있는 모든 정보를 포괄하는 최종적인 논리적 상태를 의미한다.
점진적 평가(Incremental Evaluation): — 입력 데이터가 변경되었을 때 전체를 다시 계산하지 않고, 변경된 부분에 영향을 받는 결과값만 선택적으로 업데이트하는 최적화 기법이다.

기술

Lemmalog
Datalog
Claude Sonnet 4.6
LongMemEval
LoCoMo
GPT-4.1

활용 사례

취약점 연구 자동화
장기 대화 컨텍스트 유지
논리적 일관성이 중요한 에이전트 시스템

언급된 리소스

GitHubLemmalog Source Code