테스트 시점 학습 배우기: 학습 가능한 적응 정책을 갖춘 언어 에이전트

기존 LLM 에이전트는 새로운 환경에서 실수를 반복하는 경향이 있으며, 이를 해결하기 위한 수정 규칙은 대부분 사람이 직접 설계하여 범용성이 떨어졌다. 이 논문은 에이전트가 스스로 학습하는 방식(적응 정책) 자체를 AI가 최적화하도록 하여, 처음 보는 환경에서도 빠르게 성능을 개선할 수 있는 기술적 토대를 마련했다.

기존의 LLM 에이전트는 고정된 가중치를 가진 모델이 매 에피소드를 독립적인 제로샷 시도로 처리하기 때문에, 이전의 실패에서 교훈을 얻어 다음 시도에 반영하는 능력이 부족하다. 이는 마치 시험을 여러 번 보면서도 오답 노트를 쓰지 않고 매번 똑같은 실수를 반복하는 것과 같다. 기존의 Reflexion 같은 기법은 사람이 미리 정해준 규칙에 따라 피드백을 생성하지만, 이는 특정 상황에만 유효하거나 최적의 학습 경로를 제시하지 못하는 한계가 있다.

META-TTL은 이 '오답 노트를 쓰는 방법' 자체를 학습의 대상으로 삼는다. 딥러닝의 Meta-Learning 개념을 차용하여, 에이전트가 환경과 상호작용하며 얻은 궤적(Trajectory)을 분석하고 시스템 프롬프트를 어떻게 고쳐 써야 다음 시도에서 점수가 오를지를 결정하는 '메타 정책'을 최적화한다. 즉, 모델의 파라미터를 직접 수정하지 않고도 프롬프트 공간 내에서 최적의 학습 알고리즘을 찾아내는 원리이다.

결과적으로 에이전트는 단순히 정보를 기억하는 수준을 넘어, 어떤 정보를 추출하고 어떤 탐색 전략을 세워야 하는지에 대한 '학습 전략'을 보유하게 된다. 이는 에이전트가 한 번도 경험하지 못한 새로운 도메인에 던져졌을 때도, 스스로 시행착오를 겪으며 성능을 안정적으로 높여가는 선순환 구조를 가능하게 한다.

META-TTL은 내부 루프(Inner Loop)와 외부 루프(Outer Loop)로 구성된 이단계 최적화 구조를 가진다. 내부 루프는 표준적인 테스트 시점 학습(TTL) 과정으로, 에이전트가 특정 작업에서 K번의 에피소드를 수행하며 메타 정책에 의해 업데이트된 시스템 프롬프트를 기반으로 행동을 개선한다. 외부 루프는 진화적 검색 알고리즘을 사용하여 여러 훈련 작업에 걸쳐 가장 높은 성능 향상을 이끌어내는 메타 프롬프트(phi)를 최적화한다.

성능 측정 지표로는 학습 곡선 하단 가중 면적(W-AUC)을 사용한다. [에피소드 k의 보상 J(tau_k)에 가중치 w_k=k를 곱하여 합산한 뒤 최대 가능 점수로 나누어] 계산한다. 이는 초기 에피소드보다 후기 에피소드에서의 개선에 더 높은 가중치를 부여함으로써, 에이전트가 지속적으로 성능을 높이는 능력을 갖추었는지 수치화한다.

메타 훈련 과정에서는 Proposer LLM이 현재의 메타 프롬프트를 바탕으로 새로운 후보를 제안하고, 이를 로컬 검증(특정 작업)과 글로벌 검증(전체 검증 세트)을 거쳐 전문가 풀(Expert Pool)에 저장한다. 최종적으로 검증 세트에서 가장 높은 평균 z-score를 기록한 메타 프롬프트를 선택하여 테스트 시점에 고정된 상태로 배포한다.

Jericho 벤치마크의 ID(In-Distribution) 설정에서 GPT-5를 메타 에이전트로 사용했을 때, 기존 Naive 방식의 W-AUC 0.18 대비 0.41을 기록하며 압도적인 성능 향상을 보였다. 평균 점수 또한 50.4점에서 110.8점으로 상승했다. 특히 Detective 게임에서는 Naive 에이전트가 피드백 후 점수가 하락하는 현상을 보인 반면, META-TTL은 2.7배의 점수 도약을 이끌어내며 안정적인 학습 곡선을 형성했다.

WebArena-Lite 벤치마크에서도 Shopping 도메인 등에서 성공률이 0.55에서 0.63으로 향상되는 등 유의미한 개선이 확인되었다. Jericho에 비해 개선 폭이 상대적으로 작은 이유는 WebArena의 보상이 이진(Binary) 형태라 최적화 신호가 희소하기 때문으로 분석되었다.

OOD(Out-of-Distribution) 일반화 실험에서도 효과가 입증되었다. 훈련 시 보지 못한 Balances, Library, Zork 3 등의 게임에서 모든 백본 모델(Gemini 3 Flash, GLM-5, GPT-5)이 Naive 베이스라인보다 높은 W-AUC를 기록했다. 이는 학습된 메타 정책이 특정 게임의 정답을 외운 것이 아니라, '실패 진단', '지식 축적', '탐색 관리'와 같은 범용적인 적응 전략을 습득했음을 시사한다.

META-TTL의 핵심은 적응 정책(Adaptation Policy)을 파라미터 업데이트가 아닌 프롬프트 재작성(Prompt Rewriting) 과정으로 정식화한 것이다. 이는 테스트 시점에 그래디언트 계산이 필요 없어 가볍고, 텍스트 기반의 투명한 학습 규칙을 제공한다. 아키텍처는 Actor(행동 수행)와 Meta-Agent(피드백 및 프롬프트 수정)로 분리되며, Meta-Agent는 최적화된 메타 프롬프트 phi에 의해 제어된다.

진화적 최적화 과정에서 발견된 주요 전략은 6가지로 요약된다: 1) 강제된 구조적 출력(진단, 사실, 우선순위 등 구분), 2) 명시적 신뢰 할당(Credit Assignment) 프로토콜, 3) 근거 기반의 사실 축적, 4) 체계적인 탐색 관리(Save/Restore 활용), 5) 구체적인 행동 스크립트 생성, 6) 조건부 지식 뱅크 활용이다. 특히 '게임 식별 규칙'이 진화 과정에서 자생적으로 등장하여, 에이전트가 현재 환경에 맞는 지식만 선택적으로 활성화하도록 진화했다.

학습된 메타 프롬프트는 자연어 형태의 '학습 알고리즘'으로 간주될 수 있으며, 이는 특정 모델 가중치에 종속되지 않고 Gemini, GLM, GPT 등 서로 다른 백본 모델 간에도 높은 전이 가능성을 보여준다.

WebArena-Lite와 같이 보상이 이진(0 또는 1)으로 주어지는 환경에서는 최적화 신호가 부족하여 학습 효율이 떨어진다. 또한 현재 프레임워크는 텍스트 기반 환경에 집중되어 있어, 멀티모달 환경에서의 직접적인 적용 가능성은 추가 연구가 필요하다.