마인크래프트 게임 내 멀티모달 LLM 에이전트를 위한 경험 전이 프레임워크

기존 AI 에이전트는 새로운 작업을 마주할 때마다 처음부터 다시 배우는 경향이 있어 효율성이 낮았다. 이 논문은 과거의 경험을 구조, 속성, 과정 등 5가지 차원으로 분해하여 새로운 상황에 유연하게 적용하는 Echo 프레임워크를 통해 에이전트의 학습 속도와 적응력을 획기적으로 개선했다.

기존의 에이전트 기억 장치는 단순히 과거의 행동 기록을 저장하고 불러오는 수동적인 창고 역할에 머물렀다. 이는 새로운 환경에서 미세하게 달라진 조건(예: 나무 곡괭이 대신 돌 곡괭이 제작)을 마주했을 때, 기존 지식을 어떻게 변형하여 적용해야 할지 판단하지 못하는 한계로 이어진다. Echo는 이를 해결하기 위해 '유추(Analogy)' 개념을 딥러닝의 임베딩 공간과 연결한다.

먼저 에이전트가 겪은 모든 경험을 단순한 텍스트가 아닌 5가지 축(구조, 속성, 절차 등)으로 벡터화하여 저장한다. 예를 들어 '나무 곡괭이로 돌을 캔다'는 경험은 '도구 사용'이라는 기능적 속성과 '재료 수집'이라는 절차적 속성으로 나뉘어 저장된다. 이후 '돌 곡괭이로 철을 캔다'는 새로운 목표가 주어지면, 에이전트는 임베딩 공간에서 가장 유사한 '나무 곡괭이' 사례를 찾아낸다.

이 과정에서 핵심은 두 작업 사이의 '구조적 유사성'을 파악하는 것이다. 재료만 바뀌었을 뿐 제작 방식이나 사용 논리는 동일하다는 점을 인지함으로써, 에이전트는 철 곡괭이 제작법을 처음부터 시행착오로 배우는 대신 기존 지식을 재조합하여 즉시 실행에 옮긴다. 결과적으로 경험이 쌓일수록 지식의 전이 속도가 가속화되어 학습 곡선이 비약적으로 상승하게 된다.

Echo는 세 가지 계층(Perception, Decision, Execution)으로 구성된 루프 구조를 가진다. Perception Layer에서는 환경 상태와 시각 정보를 받아 Contextual State Descriptor(CSD)를 생성한다. CSD는 메타데이터와 함께 5가지 전이 차원(Struct, Attr, Proc, Func, Inter)을 포함하는 JSON 형태의 심볼릭 데이터와 벡터 임베딩을 동시에 보유한다.

Decision Layer에서는 In-Context Analogy Learning(ICAL)을 수행한다. [현재 상태 CSD → 메모리 뱅크 검색 → 상위 K개 유사 사례 추출 → LLM 프롬프트 주입 → 행동 계획 생성] 순으로 연산이 진행된다. 이때 검색 연산은 5개 차원별 코사인 유사도의 가중합을 사용하여 현재 상황과 가장 논리적으로 부합하는 과거 경험을 선별한다.

Execution Layer에서는 생성된 계획을 실행하고 결과를 검증한다. [계획 실행 → 결과 관찰 → 성공 여부 판단 → 성공 시 메모리 업데이트] 과정을 거친다. 특히 Verifier 모듈은 생성된 계획의 논리적 일관성과 외부 타당성을 체크하여 LLM의 환각(Hallucination) 현상을 억제하고 안정적인 제어를 보장한다.

마인크래프트의 'From-scratch' 학습 설정에서 기존 SOTA 모델인 Voyager, JARVIS-1 등과 비교 실험을 진행했다. Echo는 아이템 잠금 해제 작업에서 기존 모델 대비 1.3배에서 1.7배 빠른 속도를 기록했다. 특히 학습 중반부(10~20 에피소드 사이)에서 지식이 급격히 전이되며 여러 아이템을 동시에 해금하는 성능 폭발 구간이 관찰되었다.

Ablation Study 결과, 5가지 전이 축 중 하나라도 제거할 경우 성능이 유의미하게 하락했다. 예를 들어 Attribute 축을 제거하면 레시피 관련 작업 성공률이 11% 감소했고, Procedural 축을 제거하면 복잡한 제작 체인 작업에서 12%의 성능 저하가 발생했다. 이는 각 차원이 서로 다른 유형의 지식 전이에 필수적인 역할을 수행함을 입증한다.

Echo의 핵심 아키텍처는 메모리를 단순 저장소가 아닌 '능동적 지식 유도 장치'로 재정의한 데 있다. CSD(Contextual State Descriptor)는 멀티모달 입력을 구조화된 벡터 공간으로 매핑하며, 이는 지식 그래프의 해석 가능성과 벡터 검색의 효율성을 동시에 확보한다. 특히 ICAL은 기존의 단순 Few-shot ICL과 달리, 전이 차원별 유사도를 기반으로 사례를 구성하여 LLM이 '유추적 사고'를 하도록 유도한다.

수학적으로 전이 공간 T는 {struct, attr, proc, func, inter}의 집합으로 정의되며, 검색 연산자 SK는 현재 상태 xt와 메모리 M 사이의 다차원 유사도를 계산한다. 학습 과정에서는 Instruction-tuning된 MLLM(fθ)을 사용하여 구조화된 CSD를 생성하도록 유도하며, Verifier(V)를 통해 생성된 계획 πt의 타당성을 검증함으로써 폐쇄 루프(Closed-loop) 제어의 안정성을 높였다.

Echo는 마인크래프트와 같이 규칙이 명확하고 일관된 환경에서는 강력한 성능을 보이지만, 규칙이 모호하거나 인과 관계가 복잡하게 얽힌 현실 세계의 물리적 환경에서는 전이 효율이 낮아질 수 있다. 또한 초기 학습 단계(Cold-start)에서는 참조할 기억이 부족하여 JARVIS-1과 같은 사전 학습된 정책 기반 모델보다 초기 속도가 느리다는 한계가 있다.