TL;DR

Qwen-AgentWorld-35B-A3B는 Qwen3.5-35B-A3B-Base를 바탕으로 CPT→SFT→RL(GSPO)로 이어지는 3단계 훈련 파이프라인을 적용해 에이전트 행동과 상호작용 히스토리를 입력으로 다음 환경 관측을 예측하도록 설계된 Language World Model이다. 아키텍처는 35B 파라미터(활성화 3B), 256개 전문가 MoE(토큰당 8개 라우팅+1 공유), Gated DeltaNet·Gated Attention 레이어 구성, 그리고 262,144 토큰의 확장 문맥을 결합하여 장문 트래젝토리와 도메인별 전문화를 동시에 다룬다. 모델은 단일 체크포인트로 MCP, Search, Terminal, SWE, Android, Web, OS 등 일곱 도메인을 통합해 처리하며 AgentWorldBench에서 전체 56.39점을 기록해 기반 모델(47.73) 대비 유의미한 개선을 보였다. 서빙 관점에서는 vLLM·SGLang 등 고처리량 인퍼런스 엔진과의 호환성을 제공하나 체크포인트가 언어 가중치만 포함하므로 시각 모듈 초기화를 비활성화해야 하며 대용량 컨텍스트와 MoE 라우팅을 감당할 배포 자원이 필요하다.

핵심 포인트

• 환경 모델링을 CPT 단계부터 학습 목적에 포함시켜 '네이티브' world model로 접근한 점이 핵심 차별점이다. 이 설계는 환경 시뮬레이션 능력이 사후 적응된 부가 기능이 아니라 학습 초기 목표로 자리잡도록 만든다. 따라서 SFT와 RL 단계에서의 성능 보정이 보다 직접적으로 시뮬레이션 충실도 향상으로 연결된다.
• 아키텍처 레이어에서 Gated DeltaNet와 Gated Attention을 조합해 어텐션·선형 어텐션의 설계적 이점을 동시 확보한 점이 차별화 요소이다. 이 조합은 헤드 구성과 로테리 포지셔널 설정을 통해 장문 문맥과 세밀한 토큰 상호작용을 동시에 다룰 수 있게 만든다. 결과적으로 장문 시뮬레이션에서의 추론 품질과 연산 효율 사이에 유리한 균형을 제공한다.
• 대규모 MoE(256 experts)와 262K 토큰의 확장 문맥이라는 두 축을 결합해 다도메인 에이전시 시나리오를 처리하도록 설계된 점이 실용적 차별점이다. MoE는 입력별 전문화로 도메인 특화 출력을 유도하고 확장 문맥은 장기 트래젝토리를 하나의 인풋으로 유지하게 한다. 이 조합은 단일 모델로 여러 도메인을 통합하는 목적과 직접적으로 연관된다.
• 단일 모델로 일곱 개의 에이전트 상호작용 도메인을 커버하는 통합성이 강점이다. README는 MCP, Search, Terminal, SWE, Android, Web, OS를 모두 하나의 모델로 다룰 수 있음을 명시하여 도메인 전환 비용을 줄이는 설계를 보여준다. 통합 도메인 커버리지는 멀티도메인 시뮬레이션 계열의 일관된 파이프라인을 제공한다.

벤치마크