REVERE: 과학적 워크플로우를 위한 성찰적 진화 연구 엔지니어

연구용 코드는 환경 설정이 매우 복잡하고 피드백이 부족하여 기존 AI 에이전트가 다루기 어렵다. REVERE는 과거의 실패를 스스로 분석하고 프롬프트를 '코드' 단위로 정밀 수정함으로써, 지식 손실 없이 성능을 지속적으로 진화시키는 새로운 패러다임을 제시한다.

기존의 프롬프트 최적화 방식은 마치 시험 문제를 틀릴 때마다 오답 노트를 새로 만드는 것이 아니라 교과서 전체를 다시 쓰는 것과 같다. 이 과정에서 이전에 맞았던 내용까지 지워지거나 엉뚱하게 바뀌는 Semantic Drift 문제가 발생한다. 또한, 눈앞의 문제 하나를 해결하는 데만 급급하여 여러 문제에서 공통으로 나타나는 근본적인 실패 패턴을 놓치기 쉽다.

REVERE는 이를 해결하기 위해 '성찰(Reflection)'과 '코드 기반 수정'이라는 개념을 도입한다. 에이전트가 여러 작업을 수행하며 겪은 시행착오를 'Global Training Context'라는 전역 메모리에 저장한다. 여기서 Reflector 에이전트는 반복되는 실패 원인을 찾아내어 이를 '치트시트' 형태의 일반화된 규칙으로 요약한다.

가장 핵심적인 차별점은 프롬프트를 고치는 방식이다. 자연어로 프롬프트를 다시 생성하라고 시키는 대신, Python 코드를 사용하여 프롬프트 문자열의 특정 부분만 replace하거나 append하도록 한다. 이는 딥러닝에서 특정 가중치만 미세하게 조정하는 것과 유사한 효과를 내어, 기존에 잘 작동하던 지침은 그대로 유지하면서 문제되는 부분만 정밀하게 타격하여 개선할 수 있게 한다.

REVERE는 세 가지 편집 가능한 필드인 System Prompt(전역 규칙), Task Prompt(작업 지침), Cheatsheet(누적 지식)를 기반으로 작동한다. 전체 프로세스는 배치(Batch) 단위로 진행되며, 각 배치가 끝날 때마다 Reflector 에이전트가 가동되어 실행 궤적과 피드백을 분석한다.

Reflector 에이전트는 update(name, code)라는 전용 도구를 사용한다. [프롬프트 필드 이름과 수정용 Python 코드를 입력으로] → [격리된 환경에서 해당 코드를 실행하여 문자열을 변환하는 연산을 수행해] → [수정된 프롬프트 필드 결과를 얻고] → [이 값이 다음 배치의 에이전트 실행에 즉시 반영되는 구조]이다. 이 과정에서 Safety Filter가 작동하여 파일 시스템 접근 등 위험한 연산을 차단한다.

Global Training Context는 세 가지 신호로 구성된다. 첫째, Cumulative Cheatsheet는 도메인 특화 전략을 자연어로 기록한다. 둘째, Reflection History는 과거 수정의 근거와 결과를 기록하여 모순된 수정을 방지한다. 셋째, Auxiliary Context는 현재 배치 외의 다른 작업 정보를 제공하여 에이전트가 특정 작업에 과적합(Overfitting)되지 않고 일반화된 해결책을 찾도록 돕는다.

오프라인 적응 실험에서 REVERE는 SUPER 벤치마크의 Overall 점수를 기존 SOTA 대비 4.50% 향상시켰다. 특히 힌트가 없는 환경에서도 'Output Match' 지표가 크게 개선되어 자가 학습 능력을 입증했다. ResearchCodeBench에서는 3.51%, ScienceAgentBench에서는 4.89%의 성능 향상을 보였다.

온라인 적응(Online Adaptation) 환경에서도 REVERE는 모든 벤치마크에서 베이스라인을 상회했다. 경쟁 모델인 ACE가 치트시트만 관리하여 성능이 불안정했던 것과 달리, REVERE는 전역 컨텍스트를 활용해 안정적인 우상향 곡선을 그렸다.

효율성 측면에서 REVERE는 기존의 검색 기반 또는 다중 에이전트 방식보다 최대 10배 더 비용 효율적인 것으로 나타났다. 이는 프롬프트 전체를 재생성하지 않고 필요한 부분만 코드로 수정함으로써 토큰 사용량을 억제하고 불필요한 추론 횟수를 줄였기 때문이다.

REVERE의 아키텍처는 단일 Reflector 에이전트가 진단과 편집을 모두 담당하도록 설계되어 다중 에이전트 간의 의사소통 오류를 최소화한다. 프롬프트 수정 시 Jinja2 템플릿 구조를 유지하면서 특정 필드만 Python의 str.replace(), str.append() 등을 통해 변환한다. 이는 프롬프트의 구조적 무결성을 보장하며, 수정 이력을 추적 가능하게 만든다.

수학적 최적화 관점에서 REVERE는 프롬프트 필드 F = {Fs, Fx, Fc}를 파라미터로 보고, 실행 결과의 기대 점수 μ를 최대화하는 F*를 찾는 과정으로 정형화된다. 이때 경사 하강법 대신 Reflector의 추론과 코드 실행을 통한 이산적 업데이트를 수행한다. 실험에서는 GPT-4.1 모델을 사용하여 1M 토큰의 컨텍스트 윈도우를 활용함으로써 방대한 실행 로그와 전역 컨텍스트를 한꺼번에 처리할 수 있도록 했다.

구현 세부사항으로, Reflector는 finish(summary) 호출을 통해 수정을 완료하며, 이때 생성된 요약은 Reflection History에 저장되어 다음 루프의 컨텍스트로 활용된다. 이러한 순환 구조는 에이전트가 장기적인 관점에서 자신의 행동을 교정할 수 있는 '메타 인지' 능력을 부여한다.

도메인 지식이 매우 집약적이고 작업 간 구조적 중복이 거의 없는 환경에서는 프롬프트 수정만으로 얻을 수 있는 이득이 제한적이다. 또한, Global Training Context가 커질수록 이를 관리하고 정제하는 오버헤드가 발생할 수 있으며, 오래된 정보가 최신 정보를 방해하는 문제가 생길 수 있다.