도약하기 전에 살피다: LLM 에이전트를 위한 자율 탐험

LLM 기반 에이전트는 미지의 환경에서 조기 exploitation에 빠져 탐색이 부족하다. ECC는 환경의 핵심 상태·물체·어포던스를 확인하는 지점을 verifiable하게 측정하고, Explore-then-Act는 정보 수집과 목표 달성-stage를 분리해 grounded 지식을 먼저 확보한 뒤 작업을 수행하도록 한다. 이러한 분리는 낯선 환경에서의 적응성과 일반화를 대폭 향상시키는 핵심 메타 능력으로 작용한다.

출발점과 한계: 기존의 task-oriented 학습은 환경에 대한 내부 모델이 불완전한 상태에서 목표 보상에 집중하므로 탐색을 억제하고 수렴 속도를 높이려는 편향이 생긴다. 이로 인해 낯선 환경에서의 상태-물체-어포던스 간의 맥락 파악이 부족해 action-environment mismatch가 증가한다. 이 문제를 해결하기 위해, 기초 개념으로서의 탐색과 지식 축적의 중요성을 재정의하고 ECC를 통해 탐색의 질을 정량화한다. 해결 원리: ECC는 환경의 checkpoints를 정의하고, τEXP에서 이 체크포인트의 관찰 여부를 통해 탐색 커버리지를 계산한다. GRPO를 이용해 탐색과 작업을 교대로 학습하고, Exploration reward를 통해 넓은 환경 구조를 학습한다. Explore-then-Act는 탐색과 실행의 분리를 통해 환경 지식의 groundedness를 확보하고 downstream task 차원에서의 성능을 끌어올린다. 달라지는 점: 탐색-aware 학습은 반복적이고 무의미한 행동 루프를 줄이고, 정보를 적극적으로 탐색하는 행동을 촉진한다. 이로써 환경 변화에 대한 적응력과 task 수행의 일관성이 향상되며, E-t-A 구간에서의 성능 향상도 일관적으로 나타난다.

단락 1 - 전체 접근 방식: 자동 탐색을 독립적인 학습 목표로 formalize하고 ECC를 통해 탐색의 질을 측정한 뒤, interleaved GRPO 학습으로 탐색과 작업 능력을 함께 향상시킨다. 단락 2 - 핵심 메커니즘: ECC는 환경 인스턴스에 대해 C = {c1, ..., cM}를 구성하고, ⊮[ci ∈ τEXP]가 1이 되면 체크포인트가 커버된다. ECC(τEXP) = (1/M) Σ_i ⊮[ci ∈ τEXP]. 단락 3 - 학습 전략: 탐색-context x에 대해 G개의 롤아웃 y(i)을 샘플링하고 R(i) = ECC(τ^(i)_EXP)로 계산한 뒤, A^(i) = (R(i) - mean_j R(j)) / (std_j(R(j)) + ε)로 표준화된 상대 Advantage를 얻고, objective는 max θ Ex [ (1/G) Σ_i A^(i) log πθ(y^(i)|x) - β KL(πθ(·|x) ∥ πREF(·|x)) ]. 단락 4 - Explore-then-Act: Exploration 단계에서 예측 없이 탐색 정책 πEXP를 사용하고, 수집된 τEXP를 SUMMARIZE로 지식 K를 만들고, 이후 πACT(·|Ht, g, K)로 목표를 해결한다.

주요 벤치마크 결과: ALFWorld, SciWorld, TextCraft에서 exploration-aware GRPO가 Direct Execution 대비 E-t-A에서 일관되게 성능을 향상시켰다. 예를 들어, Qwen2.5-7B의 경우 GRPO Interleaved 시 ALFWorld에서 96.9% → 98.5%, TextCraft에서 70.1% → 73.7%로 증가했다(대체로 다른 엔진에서도 동일한 추세). SciWorld에서는 GRPO Interleaved가 Task-Only 대비 증가폭이 작은 편이나, 전체적으로 E-t-A에서의 이익이 확인되었다. Qwen3-4B에서 Zero-Shot 대비 GRPO Interleaved의 Task 수행률은 30.9%에서 92.7%로 증가하는 경향을 보였고, ALFWorld에서 84.6%→90.5%, TextCraft에서 73.9%→77.2%로 개선되었다. 탐색 커버리지(ECC)도 GRPO Interleaved에서 높아져(예: ALFWorld의 ECC 상승), 탐색 능력과 Downstream 성능 간의 양의 상관관계가 확인되었다. 인위적 perturbation에서도 탐색-학습 모델이 더 강건한 수행을 보였고, 초기 탐색 효율성(ECC)과 실제 downstream task 성과 간의 연계가 뚜렷했다.

단락 1 - 아키텍처: 학습 프로세스는 interleaved GRPO로 구성되며, Task-Only 롤아웃과 Exploration 롤아웃을 교대로 수행한다. 단락 2 - 수학적 기반: ECC 계산은 (1/M) Σ_i 1_{ci ∈ τEXP}로 정의되며, REXP(τEXP) = ECC(τEXP)로 정책 개선에 사용된다. 단락 3 - 학습 차별점: Task-Only과 Explore-Only의 대비를 통한 Ablation 연구와 Interleaved 구성의 효과를 비교한다. 단락 4 - 구현 및 학습 세부: GRPO의 업데이트는 식(5)와 같은 형태이며, G개의 롤아웃에서 상대 이익 A^(i)을 계산하고 로그 가능도에 곱하며 KL 제약으로 안정성을 유지한다. 단락 5 - Explore-then-Act 구현: exploration 단계에서 얻은 τEXP를 SUMMARIZE로 지식 K를 구성하고, 이후 πACT에 K를 주입하여 Grounded Task Execution을 수행한다. 단락 6 - 데이터/환경: ALFWorld, SciWorld, TextCraft 및 ALFWorld 변형(물체 재배치, 상호작용 전제 변경, 방해물 삽입)에서 평가한다.

다음 한계점이 명시된다. 1) 탐색은 주로 초기 단계에서의 고정된 예제 환경에서 평가되므로, 실제로는 동적이고 고도 다 modality의 환경에서 확장 필요. 2) 텍스트 기반 인터랙션에 초점이 맞춰져 있어 멀티모달 환경으로의 확장이 필요. 3) 탐색 커버리지의 체크포인트 생성은 환경 엔진에 의존하며, 인간 주관적 판단 없이 자동화되나 복잡한 세계에서의 체크포인트 생성의 일반화가 남아 있다.