ReAct 프레임워크 심화: Self-Refine과 AutoGuide를 통한 에이전트 성능 최적화

• •추론(Reasoning)은 내부 지식을 활용한 논리적 사고 과정이다
• •행동(Acting)은 외부 도구, API 호출, 검색 등을 통한 환경과의 상호작용이다
• •두 과정을 교차 수행함으로써 복잡한 태스크 해결 능력을 극대화한다

• •추가 학습이나 별도의 피드백 모델 없이 단일 LLM으로 작동한다
• •인간의 반복적 수정 과정을 모델의 추론 루프에 이식했다
• •코드 최적화, 수학 문제, 대화 생성 등 7가지 태스크에서 성능 향상을 입증했다

• •피드백은 오류 위치와 수정 방향을 구체적으로 포함해야 한다
• •반복 횟수가 늘어남에 따라 이전 피드백 이력을 프롬프트에 누적하여 참조한다
• •더 이상 개선할 점이 없거나 최대 반복 횟수에 도달하면 프로세스를 종료한다

def self_refine(input_x, model_M):
    # 1. Initial Generation
    y_0 = model_M.generate(input_x)
    y_current = y_0
    
    for i in range(max_iterations):
        # 2. Feedback
        feedback = model_M.generate_feedback(input_x, y_current)
        if stop_condition(feedback):
            break
            
        # 3. Refine
        y_next = model_M.refine(input_x, y_current, feedback)
        y_current = y_next
        
    return y_current

• •모델의 크기가 클수록 Self-Refine을 통한 성능 향상 폭이 두드러진다
• •단순히 여러 번 생성하는 것보다 피드백 기반의 개선이 훨씬 효과적이다
• •실패 사례의 94%는 잘못된 피드백(오류 미식별 또는 잘못된 수정 방향)에서 기인한다

• •오프라인 트래젝토리에서 성공과 실패가 갈리는 분기점을 찾아 지식을 추출한다
• •추출된 지식은 컨텍스트와 가이드라인의 쌍(Pair)으로 딕셔너리 형태로 저장된다
• •테스트 시 현재 상태와 유사한 가이드라인을 검색하여 프롬프트에 주입한다

에이전트가 웹사이트의 UI 구조나 버튼 위치를 미리 알지 못할 때 발생하는 성능 저하를 해결하기 위한 접근법이다.

• •성공/실패 경로의 대비(Contrastive) 분석을 통해 유의미한 정보를 추출한다
• •긴 트래젝토리 전체를 넣는 대신 요약된 가이드라인만 사용하여 효율성을 높였다
• •중복된 컨텍스트는 LLM을 통해 판별하여 지식 저장소를 최적화한다

• •상황에 맞는 가이드라인만 선택적으로 제공하는 것이 전체를 제공하는 것보다 효과적이다
• •도메인이 다른 웹사이트 간에도 공통된 행동 지침이 유효하게 작용한다
• •가이드라인 개수가 너무 많으면 오히려 노이즈로 작용할 수 있어 적절한 K값 선택이 중요하다