Qwen-AgentWorld: 일반 에이전트를 위한 언어 기반 세계 모델

언어 모델을 환경 시뮬레이터로 학습하면 실환경 실행 없이 수천 개의 상황을 제어·확장해 에이전트 학습을 가속화할 수 있다. 또한 LWM 학습을 에이전트 사전 단계로 활용하면 downstream 에이전트 성능이 일관되게 향상된다.

기초 출발점: 언어 모델의 조건부 생성 능력(next-token prediction)은 행동(action)과 과거 관찰(history)을 컨디셔닝하면 환경의 다음 관찰(next observation)을 생성하는 데 직접 사용될 수 있다. 이때 LWM의 입력은 시스템 프롬프트(task context)와 o_{≤t}, a_{≤t}이며 출력은 \hat{o}{t+1}=f{\theta}(c, o_{\le t}, a_{\le t})와 같다. 긴 맥락에 대한 일관된 상태 추적이 요구되므로 단순한 next-token 학습만으로는 사고 패턴이 활성화되기 어렵다.

전체 접근: 단일 모델이 7개 도메인을 처리하도록 공통의 Unified Environment Trajectory Schema(system_prompt ⊕ [turn_1,…,turn_T])를 채택했다. system_prompt는 task_description, action_space, initial_state, demonstrations, simulation_instruction의 다섯 요소로 구성되어 각 도메인의 상태 전이를 명세한다. 학습은 CPT→SFT→RL 3단계로 진행되며 각 단계에 맞는 데이터와 샘플링 정책을 적용했다. 핵심 메커니즘: (1) 데이터 파이프라인은 전용 에이전트 인프라, 공개 상호작용 로그, 사내 에이전트 궤적으로 구성된다. (2) Trajectory-to-turn expansion으로 각 트래젝토리에서 훈련·평가용 턴 샘플을 생성하되 RL에서는 각 트래젝토리당 정확히 한 턴만 사용해 공유 접두사로 인한 reward collapse를 회피했다. (3) Turn-level 정보이론적 손실 마스킹: 입력으로 행동·관찰의 단어 집합을 추출해 OL, Nov, Jac, R 네 값을 계산한 뒤 통계적 규칙으로 토큰별 손실 반영 비율을 결정해 에코·보일러플레이트 학습을 억제했다. 학습 세부: CPT는 next-token 목표로 환경·전문 지식 코퍼스를 결합해 광범위한 세계 지식을 주입했다. SFT는 reasoning trace를 포함한 샘플을 다중 템플릿으로 노출하고 multi-beam+rejection sampling으로 고품질 레이블을 선별했다(초기 후보 10,250 → 유지 7,094, 유지율 69.2%). RL은 GSPO를 사용하며 보상은 LLM judge의 5차원 루브릭(평균×5, 범위[5,25])과 규칙 기반 verifier(이진 0/1, 스케일 [0,25])를 9:1로 결합했다.

메인 벤치마크: AgentWorldBench(2,170 samples)를 통해 Qwen-AgentWorld 계열이 기존 frontier 모델들을 능가한다고 보고되었다. 평가 프로토콜은 참조 기반 평점(reference-grounded judging)을 사용해 Format, Factuality, Consistency, Realism, Quality의 평균을 0–100으로 환산했다. 심사자 비교 실험에서 서로 다른 judge 모델은 절대 점수 분포는 달랐으나 모델 순위는 높은 상관(ρ=0.92–0.99)을 보였다. Ablation·보상 설계: 단순한 Reference-Reward(이진 A/B)와 Turing-Test 보상은 수렴성이 낮았고, 다차원 루브릭 + 규칙 검증기 조합이 안정적 수렴을 제공했다. RL 학습 과정에서 Factuality가 상대적으로 가장 크게 개선되었고(상대 개선 11.3%)도메인별로 개선 속도는 상이했다. 응용 실험: LWM을 시뮬레이터로 사용한 Sim RL(예: 4k OpenClaw 환경)은 Claw-Eval 및 QwenClawBench 등에서 실환경 학습만으로 얻은 결과를 능가하는 향상을 보였고, LWM으로 사전학습한 모델은 Terminal-Bench 2.0, SWE-Bench Verified/Pro, BFCL v4, Claw-Eval, QwenClawBench, WideSearch 등 7개 에이전트 벤치에서 downstream 성능 증가를 보였다.

아키텍처 구조: LWM은 표준 조건부 언어 생성기로, 입력 컨텍스트는 system_prompt와 누적된 (action, observation) 시퀀스이며 출력은 다음 관찰 문자열이다. 수식으로는 \hat{o}{t+1}=f{\theta}(c, o_{\le t}, a_{\le t})이며 학습 목표는 실제 관찰 o_{t+1}의 토큰 시퀀스를 최대우도 방식으로 예측하는 것이다. 정보이론적 마스킹 수치: 각 (action, observation) 쌍에서 W_{act}, W_{obs}를 추출해 OL = |W_{act} ∩ W_{obs}| / |W_{act}| → 관찰이 행동을 얼마나 에코하는지 비율, Nov = |W_{obs} \setminus W_{act}| / |W_{obs}| → 관찰 내 신규 정보 비율, Jac = |W_{act} ∩ W_{obs}| / |W_{act} ∪ W_{obs}| → 집합 유사도, R = |obs| / |act| → 길이비를 계산한다. 이 통계에 따라 7개 카테고리로 분류하고 카테고리별로 손실 반영 비율(예: retrieval 100%, echo 5%)을 적용해 의미 있는 전이만 학습하도록 설계했다. 시스템 프롬프트 자동화: AutoResearch 루프에서 옵티마이저 에이전트가 샘플 궤적과 예측 오류를 분석해 candidate prompt를 제안하고, judge로 평가한 후 반복해 템플릿을 최적화했다. 최종적으로 v0–v11 템플릿을 생성해 CPT/SFT/RL 각 단계에서 서로 다른 템플릿 분포를 사용했다. RL 보상·안정화: 보상은 LLM judge의 5차원 점수(각 1–5) 평균×5와 규칙 기반 verifier의 이진 신호를 9:1로 혼합했다. RL에서의 주요 안정화 기법은(1) RL 풀에서 트래젝토리당 단일 턴만 사용해 접두사 중복으로 인한 reward collapse 회피, (2) self-praise 보상 해킹 방지를 위해 분리된 예측 태그 추출 및 deterministic region의 엄격 매칭, (3) 규칙 기반 보상으로 객관적 앵커 제공 등이다.

논문 내에서 Factuality가 여전히 가장 낮은 채점 차원으로 남아 있으며(상대 개선 11.3%이지만 절대 점수는 낮음), 환경 시뮬레이션의 정확한 사실 기반 재현은 여전히 가장 어려운 과제로 보고되었다. 또한 LWM RL은 prompt 길이에 비해 출력이 짧아 샘플당 연산이 대부분 컨텍스트 처리에 소요되는 prompt–output 비대칭 문제가 존재한다고 기술되었다.