SPADE로 스스로 학습 환경을 만드는 LLM

왜 중요한가

LLM의 post-training에서 고정된 환경 집합은 모델이 문제를 모두 익힌 뒤 추가 학습 신호가 약해지는 병목이 됩니다. SPADE는 같은 LLM이 실행 가능한 환경을 만들고 그 환경을 푸는 두 역할을 함께 학습하게 하여, Reasoning Agent의 능력에 맞춰 환경 분포 자체가 이동하도록 만듭니다. Qwen3-30B-A3B에서 8개 게임 평가 평균이 base 대비 +8.1점, 강한 고정 환경 기준선 대비 +5.3점 높아졌고, tool-use에서는 ACEBench-Agent가 +13.9점 향상됐습니다.

핵심 기여

실행 코드 기반 환경의 공동 진화

하나의 LLM이 Environment Designer로서 Python 환경과 privileged hint를 생성하고 Reasoning Agent로서 그 환경을 풉니다. 각 환경은 Gym-style reset() / step() API, 상태 전이, 보상 함수, 검증 코드를 포함해 단일 단계 추론과 multi-turn tool use를 같은 학습 루프로 통합합니다. 두 역할이 공유 파라미터를 갱신하므로 에이전트의 능력 변화가 다음 환경 생성에도 반영됩니다.

힌트 차이를 이용한 환경 설계 보상

Environment Designer의 보상은 hint가 있는 G회 rollout의 평균 return에서 hint가 없는 G회 rollout의 평균 return을 뺀 값으로 계산됩니다. 힌트가 있으면 해결되고 없으면 실패하는 환경은 높은 regret를 받아 현재 학습 경계에 놓이지만, 양쪽 모두 성공하거나 양쪽 모두 실패하는 환경은 우선순위가 낮아집니다. 이 구조는 풀 수 없는 adversarial 환경과 학습에 아무 자극을 주지 않는 쉬운 환경을 동시에 피하도록 설계됐습니다.

Corpus와 memory를 결합한 환경 생성

Games 설정에서는 DCLM과 MegaScience에서 뽑은 수학·과학 문서 15k개를, tool-use 설정에서는 Nemotron pretraining code corpus의 문서 15k개를 환경 생성 입력으로 사용합니다. 별도의 environment memory에는 과거 환경과 regret·skill 태그를 저장해 높은 regret 사례는 변형하고 너무 쉽거나 어려운 사례는 회피합니다. 실험에서 corpus grounding을 포함한 환경 다양성 지표 Vendi/n은 0.68이었지만 corpus를 제거하면 0.04로 떨어졌습니다.

30B 이상 규모와 두 작업 영역 검증

SPADE는 Qwen3-4B-Instruct-2507, Qwen3-8B, Qwen3-30B-A3B-Instruct-2507에서 400 rollout 동안 학습됐습니다. Games 환경 학습은 수학·과학·코드·procedural reasoning으로 전이됐고, 30B-A3B의 8개 benchmark 평균은 58.3으로 Fixed-env RLVE의 53.0보다 5.3점 높았습니다. Tool-use 환경에서는 30B-A3B 기준 BFCL v4 multi-turn이 +5.7점, ACEBench-Agent가 +13.9점 상승했습니다.

핵심 아이디어 이해하기

강화학습 에이전트는 환경과 상호작용해 얻은 보상으로 정책을 갱신하지만, 사람이 만들었거나 한 번 합성한 고정 환경 집합에서는 모델이 문제를 익힌 뒤 새로운 학습 신호가 줄어듭니다. 일반적인 self-play는 이 한계를 완화하지만, 모델이 자기 지식만으로 문제를 만들면 이미 아는 패턴을 반복하거나 오류를 증폭할 수 있습니다. SPADE는 이 문제를 환경을 만드는 역할 자체도 학습시키는 방식으로 다룹니다.

방법론

SPADE의 shared policy πθ는 role-specific prompt에 따라 Environment Designer 또는 Reasoning Agent가 됩니다. Designer는 corpus 문서와 environment memory를 입력으로 받아 Python 프로그램 e와 privileged hint h를 생성하고, 프로그램은 reset()으로 초기 상태를 반환하며 step(action)에서 상태 전이와 보상을 계산합니다. 생성된 코드는 syntax와 executability 검사를 통과해야 training pool에 들어가고, Agent는 같은 환경을 hint 없이 G번, hint와 함께 G번 실행합니다.

주요 결과

힌트 기반 regret는 $r_D(e)=\bar{r}_A(e\mid h)-\bar{r}_A(e)$ 로 계산됩니다. 여기서 $\bar{r}_A(e\mid h)$ 는 환경 e와 힌트 h를 함께 준 G개 rollout의 평균 return이고, $\bar{r}_A(e)$ 는 힌트 없이 얻은 G개 rollout의 평균 return입니다. 예를 들어 힌트 조건의 평균이 0.65이고 무힌트 조건의 평균이 0.30이면 regret는 0.35가 되며, 이는 힌트가 없을 때 필요한 추론 여지가 크다는 뜻입니다. 학습에서는 regret를 0 이상으로 바닥 처리하고, Agent win rate가 0.4~0.6에 놓이는 난이도 anchor와 결합해 해결 가능성과 학습 여지를 함께 유지합니다.

기술 상세

MDP는 $(\mathcal{S},\mathcal{A},T,R,\rho_0)$ 로 표현되며, $\mathcal{S}$ 는 상태 공간, $\mathcal{A}$ 는 행동 공간, $T(s'\mid s,a)$ 는 현재 상태와 행동에서 다음 상태로 가는 전이 함수, $R(s,a)$ 는 보상 함수, $\rho_0$ 는 초기 상태 분포입니다. reset()은 $s_0\sim\rho_0$ 와 info를 반환하고, step(a)는 $(s',r,terminated,truncated,info)$ 를 반환합니다. 입력 행동 a가 step()에 들어가면 코드가 T와 R을 계산하고 다음 관찰·보상·종료 여부를 출력하므로, 한 번의 정답 제출과 여러 번의 도구 호출을 동일한 형식으로 처리합니다.

한계점

Environment Designer가 생성할 수 있는 환경 복잡도는 base model이 context 안에서 표현할 수 있는 수준과 generation budget에 제한됩니다. 두 역할의 학습 규칙은 사람이 설계한 GRPO에 고정되어 있으며, SPADE가 자신의 optimizer를 수정하지는 않습니다. Hint-based regret가 최적 curriculum을 보장한다는 형식적 증명은 없고, 현재 평가는 open-ended reasoning growth가 아니라 고정된 benchmark 성능을 측정합니다.

실무 활용

SPADE의 공개 구현은 LLM post-training에서 환경 생성과 에이전트 학습을 한 루프로 결합하려는 연구에 활용할 수 있습니다. 특히 상태 전이와 검증 가능한 보상이 필요한 multi-turn tool-use, procedural reasoning, synthetic game 환경을 같은 reset() / step() 인터페이스로 구성할 수 있습니다.

고정된 RL 환경 대신 모델 능력에 맞춰 난이도가 이동하는 synthetic curriculum 구축
simulated tools와 backend state를 이용한 multi-turn function-calling 학습 환경 생성
문서 corpus와 과거 환경 memory를 결합한 다양한 reasoning game 생성
hint-based regret와 EMA-based learning potential을 비교하는 Environment Designer 보상 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

SPADE(Self-Play in Adaptive Synthetic Executable Environments)Self-Play Reinforcement Learning환경 설계자추론 에이전트힌트 기반 regret실행 가능한 Python 환경Gym-style reset() / step()환경 memoryCorpus GroundingGRPOMulti-turn Tool Use

용어 해설

Self-Play Reinforcement Learning: — 하나의 모델 또는 여러 학습 주체가 서로 다른 역할을 맡아 상호작용하며 얻은 보상으로 정책을 갱신하는 강화학습 방식입니다. SPADE에서는 같은 LLM이 Environment Designer와 Reasoning Agent 역할을 번갈아 수행하고, 생성된 환경의 난이도와 에이전트의 해결 능력이 함께 변합니다. 고정된 문제 집합을 반복하는 대신 학습 과정에서 새로운 과제를 계속 만들 수 있다는 점이 중요합니다.
Markov Decision Process: — 현재 상태와 행동에 따라 다음 상태와 보상이 결정되는 환경의 수학적 표현입니다. 상태 공간, 행동 공간, 전이 함수, 보상 함수, 초기 상태 분포로 구성되며, SPADE에서는 이 요소들을 실행 가능한 Python 코드로 작성합니다. 따라서 한 번의 정답 판정부터 여러 단계의 도구 사용까지 같은 환경 인터페이스로 처리할 수 있습니다.
힌트 기반 후회 보상(Hint-Based Regret): — 동일한 환경에서 privileged hint를 받은 에이전트의 평균 보상과 힌트 없이 행동한 에이전트의 평균 보상 차이로 환경 설계자의 보상을 계산하는 방식입니다. 힌트가 있으면 풀 수 있지만 없으면 어려운 환경에서 차이가 커지므로, 해결 가능하면서도 현재 능력의 경계에 있는 환경을 선택하게 만듭니다. 두 조건 모두 성공하면 숙달된 환경이고, 힌트가 있어도 실패하면 지나치게 어려운 환경으로 간주됩니다.
Group Relative Policy Optimization: — 같은 입력에서 여러 응답을 샘플링한 뒤 각 응답의 보상을 그룹 평균과 표준편차에 맞춰 정규화하고 정책을 갱신하는 강화학습 최적화 방법입니다. SPADE는 Reasoning Agent의 과제 보상과 Environment Designer의 힌트 기반 보상을 역할별로 정규화해 하나의 공유 정책에 적용합니다. 정책 비율을 clipping하고 참조 정책과의 KL 정규화를 추가해 두 역할의 공동 학습을 안정화합니다.
환경 메모리(Environment Memory): — 이전에 생성한 환경을 regret 점수와 skill 태그와 함께 저장해 다음 환경 설계 입력으로 재사용하는 메모리입니다. Environment Designer는 높은 regret 환경을 변형하고, 이미 너무 쉽거나 어려웠던 환경은 피하면서 현재 에이전트가 어려워하는 지점에서 새 환경을 시작합니다. 외부 corpus가 환경의 주제 다양성을 넓힌다면 memory는 환경 난이도의 연속성을 유지합니다.

SPADE로 스스로 학습 환경을 만드는 LLM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화

EnvHarness로 정적 환경을 정책에 맞춰 재구성

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

SWE-bench와 GRPO를 활용한 LLM 소프트웨어 버그 수정 학습 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화

EnvHarness로 정적 환경을 정책에 맞춰 재구성

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

SWE-bench와 GRPO를 활용한 LLM 소프트웨어 버그 수정 학습 프레임워크