StraTA: 전략적 궤적 추상화를 통한 에이전트 강화학습 촉진

기존 LLM 에이전트는 매 순간 즉흥적으로 행동을 결정하는 반응형 방식에 의존하여 긴 작업에서 일관성을 잃기 쉬웠다. 이 논문은 고수준 전략을 먼저 세우고 이를 따르게 하는 StraTA 프레임워크를 통해 복잡한 과학 실험 및 웹 탐색 작업에서 성능을 획기적으로 개선했다.

기존의 에이전트 학습은 매 단계마다 현재 상태에서 다음 행동을 예측하는 Gradient Descent 기반의 최적화에 집중한다. 하지만 수십 단계가 이어지는 긴 작업에서는 초기 행동이 나중에 어떤 결과를 초래할지 예측하기 어렵고, 보상이 마지막에만 주어지는 Sparse Reward 환경에서 각 행동의 기여도를 계산하는 Credit Assignment가 매우 복잡해진다.

StraTA는 이를 해결하기 위해 고수준 전략(Strategy)이라는 중간 매개체를 도입한다. 이는 마치 사람이 복잡한 문제를 풀 때 전체적인 계획을 먼저 세우는 것과 같다. 먼저 초기 상태 임베딩을 바탕으로 전체 궤적을 관통하는 요약된 계획을 생성하고, 이후의 모든 토큰 생성 과정에서 이 계획을 컨텍스트로 주입하여 행동의 일관성을 강제한다.

결과적으로 학습 과정은 '좋은 전략을 고르는 법'과 '선택된 전략을 정확히 수행하는 법'이라는 두 가지 하위 목표로 분리된다. 이를 통해 에이전트는 근시안적인 탐색에서 벗어나 전체 목표를 향한 일관된 궤적을 형성할 수 있게 되며, 이는 복잡한 환경에서의 샘플 효율성과 최종 성공률의 비약적인 상승으로 이어진다.

StraTA는 계층적 롤아웃 구조를 통해 전략과 행동을 동시에 최적화한다. 먼저 초기 상태 s₁에서 N개의 전략 z를 샘플링하고, 각 전략에 대해 M개의 독립적인 행동 롤아웃을 수행하여 총 N×M개의 궤적을 생성한다. [상태 s₁ → 전략 z 샘플링 → 전략 조건부 행동 a_t 생성 → 궤적 τ 완성]

전략 수준의 보상은 해당 전략 하에서 생성된 M개 롤아웃 중 상위 δ 비율의 평균 점수로 계산한다. [M개 롤아웃 결과 수집 → 상위 δ 비율 선택 → 평균 계산 → 전략 보상 R(z) 결정] 이는 실행 과정의 노이즈를 배제하고 전략 자체의 잠재적 가치를 평가하기 위함이다.

행동 수준에서는 비판적 자기 판단(Critical Self-judgment)을 도입한다. 에이전트는 완료된 궤적을 복기하며 전략을 따르지 않았거나 진행에 도움이 안 된 단계를 식별하여 페널티 κ를 부여한다. [궤적 τ와 전략 z 입력 → 부적절한 단계 i 식별 → 보상에서 -κ 차감 → 최종 행동 보상 결정] 이 값은 GRPO의 Advantage 계산에 반영되어 모델이 전략에 정렬되도록 유도한다.

ALFWorld 벤치마크에서 StraTA는 7B 모델 기준 93.1%의 성공률을 기록하며 기존 RL 기반 SOTA 모델인 GiGPO(90.8%)를 능가했다. 특히 'Look' 서브태스크에서는 92.3%를 달성하여 대조군 대비 압도적인 성능 향상을 보였다.

WebShop 환경에서는 84.2%의 성공률과 91.2점의 점수를 기록했다. 이는 GPT-5.1(22.2%)이나 Claude-4-Sonnet(18.4%)과 같은 최신 폐쇄형 모델의 제로샷 성능을 크게 앞지르는 수치이며, 기존 RL 방법론들보다도 높은 효율성을 증명했다.

가장 난이도가 높은 SciWorld에서는 평균 63.5점을 기록했으며, 특히 'Lifespan' 카테고리에서는 100.0%의 완벽한 점수를 획득했다. 이는 StraTA가 복잡한 과학적 추론과 장기적인 계획이 필요한 도메인에서 매우 강력한 성능을 발휘함을 시사한다.

StraTA의 핵심 아키텍처는 GRPO(Group Relative Policy Optimization)를 계층적으로 확장한 구조다. 전략 그룹 G_strategy와 각 전략에 종속된 행동 그룹 G_action을 구성하여, 전략 간의 우열과 동일 전략 내 행동 간의 우열을 동시에 비교하며 Advantage를 계산한다.

전략 탐색의 효율성을 극대화하기 위해 Farthest Point Sampling(FPS) 기법을 사용한다. 오버샘플링된 σ×N개의 전략 후보를 사전 학습된 임베딩 모델(MiniLM-L6)을 통해 벡터화하고, 코사인 유사도가 가장 낮은 전략들을 선택함으로써 의미적으로 중복되지 않는 다양한 경로를 탐색한다.

학습 목적 함수는 전략 수준의 Clipped Surrogate Loss와 행동 수준의 Loss를 합산한 형태이며, 여기에 KL Divergence 제약 조건을 추가하여 기존 정책으로부터 급격하게 이탈하는 것을 방지한다. 또한 응답 길이에 따른 Soft Length Penalty를 적용하여 에이전트가 불필요하게 긴 설명을 생성하지 않도록 안정화했다.

StraTA의 성능은 초기 단계에서 생성된 전략의 품질에 크게 의존한다. 만약 초기 전략 자체가 작업 해결이 불가능한 방향으로 설정될 경우, 이후의 행동 최적화가 무의미해질 수 있다. 또한 에피소드 도중 환경이 급격하게 변할 때 고정된 전략을 수정하지 못하는 경직성이 존재한다.