Hindsight: LLM 에이전트를 위한 경험 기반 자기 개선 프레임워크

섹션별 상세

현재 대다수 에이전트 플랫폼의 메모리 기능은 과거 대화를 단순히 검색하는 RAG 수준에 머물러 있어 진정한 학습이 불가능합니다. Hindsight는 무엇이 잘못되었는지에 대한 구조화된 기록과 적절한 시점에 교훈을 부각하는 검색 메커니즘을 통해 이 간극을 메웁니다.

프레임워크는 오류를 메타데이터가 포함된 구조화된 교훈으로 캡처하여 저장하는 단계부터 시작합니다. 사용자가 에이전트의 실수를 교정하면 해당 내용은 단순 텍스트가 아닌 시스템이 이해할 수 있는 형태의 교훈 라이브러리에 등록됩니다.

에이전트가 새로운 작업을 시작하기 전, 현재 작업과 유사한 과거의 교훈이 있는지 자동으로 검색하여 프롬프트에 주입합니다. 이를 통해 에이전트는 동일한 실수를 저지르기 직전에 관련 주의사항을 인지하고 행동을 수정할 수 있습니다.

특정 교훈이 반복적으로 유효함이 증명되면 이를 에이전트의 시스템 프롬프트나 행동 로직에 영구적으로 통합하는 컴파일 과정을 거칩니다. 결과적으로 에이전트는 더 이상 해당 교훈을 기억해낼 필요 없이 구조적으로 실수가 불가능한 상태로 진화합니다.

시스템의 신뢰성을 위해 실제 오류 데이터에만 의존하며, 긍정적인 패턴 역시 별도의 라이브러리에 대칭적으로 기록하여 균형 잡힌 학습을 도모합니다. 이는 에이전트가 스스로를 과대평가하거나 잘못된 방향으로 최적화되는 것을 방지하는 안전장치 역할을 합니다.

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답 생성에 활용하는 기술입니다. 이 아티클에서는 단순한 대화 이력 회상을 넘어선 구조화된 학습의 대조군으로 언급됩니다.
리플렉션(Reflexion): — 에이전트가 자신의 행동을 스스로 평가하고 피드백을 통해 성능을 개선하는 아키텍처입니다. Hindsight 프레임워크가 지향하는 자기 개선 철학의 학술적 기반 중 하나입니다.
시스템 프롬프트(System Prompt): — 모델의 역할, 제약 조건, 행동 지침을 정의하는 최상위 지시문입니다. Hindsight는 검증된 교훈을 이 시스템 프롬프트에 영구적으로 내화하는 것을 목표로 합니다.
최소 기능 제품(MVP): — 고객의 피드백을 받아 최소한의 노력으로 구현 가능한 핵심 기능을 갖춘 제품 버전입니다. 본 제안서에서는 전체 비전 중 즉시 구현 가능한 하위 집합을 의미합니다.