Latent Space AI in Action 위클리 잼 - Recursive Language Models (RLM) 및 추론 트리 시각화

• •노드별 요약과 상세 추론을 분리하여 정보 밀도를 관리한다
• •백트래킹 과정을 통해 모델이 오류를 수정하는 지점을 시각화한다
• •JSON 기반의 데이터 구조로 추론 이력을 저장하고 재현한다

추론 트리는 모델이 문제를 해결하기 위해 거치는 여러 가설과 단계를 계층적으로 표현한 것이다.

• •프롬프트를 외부 환경으로 정의하여 물리적 컨텍스트 한계를 우회한다
• •재귀적 호출을 통해 정보를 단계적으로 압축하고 요약한다
• •기존 모델 대비 100배 이상의 긴 문맥 처리 성능을 입증했다

RLM은 MIT 연구진이 제안한 기법으로, 프롬프트를 프로그램적으로 탐색하고 분해하는 것이 핵심이다.

• •Delegator 모델이 작업을 분할하고 코드를 생성하여 실행을 제어한다
• •Small LLM은 압축된 컨텍스트를 바탕으로 효율적인 요약을 수행한다
• •Python 함수를 통한 동적 프롬프트 필터링으로 정확도를 높였다

하네스는 LLM의 입출력을 제어하고 외부 도구와 연결해주는 소프트웨어 계층을 의미한다.

class DelegatorSystemPrompt:
    def __init__(self, task_description):
        self.prompt = f"""
        You are a strategic task delegator. 
        Break down the following task into sub-tasks for a smaller LLM:
        {task_description}
        Generate Python functions to filter and compress the input context.
        """