J-Zero: 데이터 없이 Challenger·Solver·Judge를 함께 진화시키는 자기 개선

왜 중요한가

사람이 만든 데이터와 고정된 평가 모델에 의존하는 자기 진화 방식은 Solver가 Judge의 판별 범위에 도달하면 더 이상 유효한 보상을 얻기 어렵습니다. J-Zero는 Challenger와 Solver의 역할 차이, 그리고 하위 과제 분해 후 결합에서 생기는 구조적 선호를 이용해 Judge도 함께 갱신합니다. 그 결과 Qwen3-4B-Base에서 검증 가능 영역 평균 54.38, 검증 불가능 영역 평균 20.81을 기록했고, 기존 방식이 2회 반복 뒤 하락한 것과 달리 10회까지 상승했습니다.

핵심 기여

Challenger·Solver·Judge의 통합 자기 진화

Challenger가 Solver가 낮은 점수를 받을 어려운 과제를 만들고, Solver가 해당 과제의 응답 보상을 높이도록 학습하며, Judge가 두 정책의 최신 응답 품질 차이를 학습하는 세 단계 순환 구조를 구성했습니다.

Judge 학습을 위한 역할 비대칭 선호

같은 과제에 대해 Solver의 응답을 선택 응답으로, Challenger가 답한 응답을 거부 응답으로 배치했습니다. 두 레이블은 Judge 점수가 아니라 Solver는 문제 풀이를, Challenger는 난도 높은 과제 생성을 최적화한다는 역할 차이에서 결정됩니다.

하위 과제 증폭 선호

Challenger가 과제를 하위 과제로 나누고 Solver가 각각 답한 뒤 Challenger가 답을 결합한 응답을 만듭니다. 이 결합 응답을 Solver의 일회성 응답보다 우선해 Judge가 현재 Solver의 일회성 능력을 넘어서는 품질 차이까지 학습하게 했습니다.

검증 가능·검증 불가능 영역의 성능 향상

Qwen3-4B-Base에서 J-Zero는 검증 가능 영역 평균 54.38, Qwen3-8B-Base에서 58.55를 기록했습니다. 검증 불가능 영역에서는 각각 20.81과 23.41을 기록해 두 모델 규모와 두 평가 영역 모두에서 비교 기준보다 높은 평균을 얻었습니다.

핵심 아이디어 이해하기

일반적인 강화학습에서는 정책이 받은 보상을 높이는 방향으로 갱신되며, 보상이 정확해야 학습이 계속됩니다. 수학처럼 정답을 확인할 수 있는 작업은 verifier가 직접 신호를 만들지만, 창작 글쓰기처럼 정답이 하나가 아닌 작업은 Judge의 품질 점수가 그 역할을 대신합니다. 고정된 Judge는 자신이 구분할 수 있는 응답 품질까지만 Solver를 밀어 올릴 수 있습니다.

J-Zero는 이 한계를 Challenger·Solver·Judge의 상호작용으로 해결합니다. Challenger는 Solver의 응답 점수가 낮아지는 과제를 생성하고, Solver는 그 과제의 점수를 높이는 응답을 학습합니다. 따라서 Challenger가 과제 난도를 계속 올리고 Solver가 그 난도에 적응하는 경쟁 구조가 만들어집니다. Judge는 이 과정에서 두 정책의 응답을 평가하며, 단순히 고정된 보상을 제공하는 역할에 머물지 않습니다.

Judge 자체에는 외부 정답 라벨 대신 생성 과정에서 품질 순서가 정해지는 쌍을 사용합니다. Solver가 과제 풀이를 목적으로 최적화되고 Challenger가 과제 생성을 목적으로 최적화되므로, 같은 질문에서는 Solver 응답을 Challenger 응답보다 우선할 근거가 있습니다. 또 어려운 과제를 쉬운 하위 과제로 나누고 답을 결합하면, 각 하위 과제의 풀이를 모아 일회성 응답보다 더 완전한 답을 만들 수 있습니다. 이 두 순서가 Judge의 최신 판별 범위를 계속 확장합니다.

이 구조의 핵심은 보상 모델도 Solver와 함께 이동한다는 점입니다. Challenger가 새로운 난도 구간을 만들고 Solver가 응답 품질을 높이면, Judge는 역할 비대칭과 하위 과제 증폭에서 나온 선호 쌍으로 그 구간의 품질 차이를 다시 학습합니다. 그래서 Solver가 기존 Judge의 평가 상한에 도달해도 보상 신호가 곧바로 평평해지지 않습니다.

방법론

각 반복은 Challenger 학습, Solver 학습, Judge 학습의 세 단계로 구성됩니다. Challenger는 하나의 생성 지시에서 N개 과제 xᵢ를 샘플링하고, Solver는 각 과제에 대해 M개 응답 yᵢ,ⱼ를 생성합니다. Judge는 각 과제·응답 쌍에 0과 1 사이의 점수 rᵢ,ⱼ를 부여하며, 한 과제의 평균 점수 r̄ᵢ = 1/M × Σⱼ rᵢ,ⱼ는 현재 Solver가 그 과제를 얼마나 잘 처리하는지 나타냅니다. 따라서 형식이 올바른 과제의 난도 보상은 1 − r̄ᵢ에서 반복 과제 패널티를 뺀 값이 됩니다.

반복 과제 패널티는 과제 쌍의 거리 dₚq = 1 − BLEU(xₚ, xq)로 계산합니다. dₚq가 임계값 τ보다 작은 과제를 같은 군집에 넣고, 군집 크기가 전체 N에서 차지하는 비율에 λ를 곱해 각 과제의 패널티로 사용합니다. 태그를 통과하지 못한 과제에는 -1에서 반복 패널티를 추가로 뺀 보상을 부여합니다. Challenger는 이 복합 보상을 높이도록 GRPO로 갱신되므로, Solver가 어려워하고 서로 중복되지 않으며 형식도 맞는 과제를 생성하는 방향으로 이동합니다.

Challenger 갱신 뒤에는 더 큰 후보 과제 풀에서 각 과제의 M개 응답 점수 표준편차 sᵢ = std({rᵢ,ⱼ})를 계산합니다. sᵢ가 큰 과제는 같은 질문에도 Solver 응답 품질이 크게 갈리는 영역이므로, 상위 K개를 Solver 학습에 선택합니다. 선택된 각 과제에 대해 Solver가 G개 응답을 만들고 Judge 보상을 받으며, GRPO는 과제별 그룹 평균과 표준편차를 사용해 상대 advantage를 계산합니다. 높은 보상을 받은 응답의 확률은 높이고 낮은 응답의 확률은 낮추되, clip과 KL 항으로 정책 변화 폭을 제한합니다.

Judge 학습에는 두 종류의 선호 쌍을 합친 데이터셋을 사용합니다. 역할 비대칭 쌍은 같은 held-out 과제에서 Solver 응답을 선택하고 Challenger 응답을 거부합니다. 하위 과제 증폭 쌍은 Challenger가 원래 과제 x를 qₖ들로 분해하고, Solver가 각 qₖ를 푼 뒤 Challenger가 부분 답을 결합해 yᵃᵐᵖ를 만드는 흐름을 거칩니다. yᵃᵐᵖ를 Solver의 일회성 응답 yˢ보다 우선한 뒤, 두 쌍을 Bradley–Terry 학습에 넣습니다.

주요 결과

J-Zero는 두 모델 규모에서 검증 가능 영역의 모든 벤치마크 그룹에서 가장 높은 평균을 기록했습니다. Qwen3-4B-Base의 전체 평균은 44.91에서 54.38로, Qwen3-8B-Base는 50.67에서 58.55로 상승했습니다. R-Zero와 비교하면 검증 가능 영역 평균이 각각 4.74점과 3.56점 높았습니다.

검증 불가능 영역에서 Qwen3-4B-Base의 전체 평균은 9.58에서 20.81로, Qwen3-8B-Base는 13.23에서 23.41로 상승했습니다. AlpacaEval에서는 각각 6.22 → 28.56, 12.93 → 33.53으로 증가했습니다. R-Zero의 검증 불가능 영역 평균 상승폭은 3.08점과 2.31점에 그쳤고, G-Zero는 1.31점과 2.08점 상승해 J-Zero와의 차이가 더 컸습니다.

반복 횟수별 평가에서 R-Zero와 G-Zero는 2회에서 최고점에 도달한 뒤 하락했지만, J-Zero는 검증 가능·불가능 영역 모두에서 10회까지 단조롭게 상승했습니다. Qwen3-4B-Base 기준 기본 모델 대비 상승폭은 각각 9.47점과 11.23점입니다. Judge를 고정한 변형은 초반 3회까지 비슷했지만 최종적으로 검증 가능 영역에서 1.66점, 검증 불가능 영역에서 4.44점 낮았습니다.

선호 쌍의 외부 평가에서도 시점별 역할이 갈렸습니다. 역할 비대칭 쌍에서 Solver 응답의 승률은 모든 반복에서 60%를 넘었고, 87.9%에서 약 66%로 낮아졌습니다. 하위 과제 증폭 쌍은 1회차 21.1%로 시작했지만 4회차부터 50%를 넘었고 이후 약 70~80%에 도달했습니다. 두 쌍을 함께 사용한 전체 모델의 평균은 37.59였으며, 하위 과제 증폭 쌍을 제거하면 35.95, 역할 비대칭 쌍을 제거하면 36.62로 낮아졌습니다.

기술 상세

J-Zero는 Challenger Cθc, Solver Sθs, Judge Jϕ를 사용합니다. Challenger가 생성한 과제 xᵢ마다 Solver가 응답 yᵢ,ⱼ를 샘플링하고 Judge 점수는 rᵢ,ⱼˢ = σ(Jϕ(xᵢ, yᵢ,ⱼ))로 계산합니다. 여기서 σ는 Judge의 원시 출력을 0~1 범위로 바꾸며, 예를 들어 점수가 0.8인 응답은 0.3인 응답보다 Solver 보상에 더 크게 기여합니다. Solver 목적은 이 점수의 기대값을 높이는 것이고, Challenger는 Solver 평균 점수의 보수인 1 − r̄ᵢ를 높여 Solver가 어려워하는 과제를 찾습니다.

Challenger 보상은 형식 검사와 반복 억제를 함께 반영합니다. 과제 xₚ, xq의 거리를 dₚq = 1 − BLEU(xₚ, xq)로 계산하고, dₚq < τ인 과제를 군집화한 뒤 군집 크기 비율에 λ를 곱합니다. 형식을 통과한 경우 보상은 max(0, 1 − r̄ᵢ − rᵢrep)이고, 실패한 경우 -1 − rᵢrep입니다. 이 값들을 같은 GRPO 그룹 안에서 표준화해 advantage를 만들고, old 정책 대비 토큰 확률 비율을 clip한 항과 Cθc‖Cref의 KL 패널티를 함께 최적화합니다.

Solver의 과제 선택은 응답 점수의 평균이 아니라 분산을 사용합니다. 과제 i에 대한 점수들이 0.2, 0.5, 0.8이면 평균은 0.5이고 표준편차는 큰 편이므로, Solver가 응답을 일관되게 만들지 못하는 학습 후보로 선택됩니다. 반대로 점수가 0.49, 0.50, 0.51처럼 모이면 표준편차가 작아 우선순위가 낮습니다. 후보 중 sᵢ가 가장 큰 K개를 고른 뒤 각 과제에서 G개 응답을 샘플링하고, 과제별 그룹 안에서 GRPO advantage를 정규화합니다.

Judge는 선택 응답 y⁺와 거부 응답 y⁻의 점수 차이를 학습합니다. Bradley–Terry 손실은 $-log σ(Jϕ(x,y⁺) − Jϕ(x,y⁻))$ 로 계산하며, x는 과제, y⁺·y⁻는 선호 쌍의 두 응답, Jϕ는 Judge 점수, σ는 선호 확률입니다. 예를 들어 두 점수의 차이가 0이면 선택 확률은 0.5이고, 차이가 커질수록 선택 응답이 더 나을 확률이 1에 가까워집니다. 역할 비대칭 쌍은 Solver 응답과 Challenger 응답을 비교하고, 하위 과제 증폭 쌍은 결합 응답과 일회성 응답을 비교해 Judge의 순위 오류를 줄입니다.

실험은 verl framework에서 수행했으며, 반복마다 Challenger 5단계, Solver 15단계, Judge 8단계를 학습했습니다. 모델은 Qwen3-4B-Base와 Qwen3-8B-Base이고 Judge는 Skywork-Reward-V2-Llama-3.1-8B입니다. 검증 가능한 평가에는 7개 수학 추론 벤치마크, 3개 일반 추론 벤치마크, IFEval을 사용했고, 검증 불가능한 평가에는 AlpacaEval 2.0, Arena-Hard-v2.0, EQ-Bench Creative Writing v3를 사용했습니다.

한계점

계산 자원 제약으로 Challenger와 Solver는 최대 8B 파라미터, Judge는 8B 규모까지만 평가했습니다. 실험 대상도 base model에 한정되어 더 큰 모델과 긴 chain of thought를 출력하는 post-trained reasoning model은 검증하지 않았습니다. Judge는 off-the-shelf checkpoint에서 초기화한 classifier 기반 discriminative reward model이며, Challenger와 Solver는 하나의 generative initialization을 공유하지 않습니다. Generative Judge와 그 critique를 활용하는 공동 적응 방식은 후속 과제로 남아 있습니다.

실무 활용

J-Zero의 구조는 외부 선호 데이터가 부족하고, 작업 품질을 실행 결과만으로 판정하기 어려운 LLM 후학습 환경에 적용할 수 있습니다. Challenger가 과제 생성을, Solver가 응답 생성을, Judge가 선호 판정을 맡도록 분리한 뒤 세 정책을 반복 갱신하는 구성이 핵심입니다.

사람의 선호 라벨 없이 창작 글쓰기·개방형 지시 따르기 모델을 반복 학습하는 환경
수학·일반 추론·IFEval처럼 검증 가능한 과제와 AlpacaEval·Arena-Hard·EQ-Bench처럼 검증이 어려운 과제를 하나의 자기 진화 루프에서 함께 처리하는 환경
고정 reward model의 판별 상한 때문에 반복 학습이 정체되는 LLM post-training 파이프라인
어려운 요청을 하위 과제로 분해한 뒤 부분 답을 결합해 응답 품질을 높이는 학습 시스템

코드 공개 여부: 공개

코드 저장소 보기

키워드

J-Zero(데이터 없는 자기 진화 학습)Challenger–Solver–Judge 공동 진화GRPO(그룹 상대 정책 최적화)Bradley–Terry 선호 학습역할 비대칭 선호 쌍하위 과제 증폭검증 불가능 영역 평가LLM 자기 개선

용어 해설

자기 진화 언어 모델(Self-Evolving Language Model): — 외부 데이터나 사람의 라벨을 반복적으로 공급하지 않고, 모델이 과제와 응답을 생성하고 평가하면서 스스로 학습하는 언어 모델입니다. 검증 가능한 영역에서는 실행 결과나 정답을 보상으로 쓸 수 있지만, 정답이 하나가 아닌 영역에서는 응답 품질을 판단하는 Judge가 학습 신호를 만듭니다.
GRPO: — 여러 샘플의 보상을 같은 그룹 안에서 비교해 정책을 갱신하는 강화학습 방법입니다. 각 응답의 보상에서 그룹 평균을 빼고 표준편차로 나눠 상대적 advantage를 만든 뒤, 정책 변화량을 clip하고 기준 정책과의 KL 차이를 제한합니다.
Bradley–Terry 손실(Bradley–Terry Loss): — 두 응답의 선호 순서를 학습하는 확률 모델입니다. 선택된 응답과 거부된 응답의 Judge 점수 차이에 sigmoid를 적용해 선택 응답이 더 높을 확률을 구하고, 그 로그 확률의 음수를 최소화해 응답 순위를 조정합니다.
검증 가능한 영역(Verifiable Domain): — 수학 문제나 코드처럼 객관적인 정답 또는 실행 결과로 응답을 판정할 수 있는 작업 영역입니다. 정답과 모델 출력의 일치 여부가 직접적인 보상 신호가 되므로, 별도의 주관적 평가 모델 없이도 자기 진화 학습을 구성할 수 있습니다.
검증 불가능한 영역(Unverifiable Domain): — 창작 글쓰기나 개방형 조언처럼 단 하나의 정답으로 품질을 판정하기 어려운 작업 영역입니다. 응답의 유용성이나 선호도를 평가하는 Judge가 필요하며, 고정된 Judge를 사용하면 Solver가 Judge의 판별 범위를 넘어선 뒤 학습 신호가 약해집니다.
반복 증폭(Iterated Amplification): — 어려운 하나의 과제를 여러 개의 쉬운 하위 과제로 나누고, 각 하위 과제의 답을 다시 결합해 원래 과제의 답을 만드는 방법입니다. 하위 과제 풀이가 전체 과제의 일회성 풀이보다 안정적이라는 점을 이용해 더 완전한 응답을 구성합니다.

J-Zero: 데이터 없이 Challenger·Solver·Judge를 함께 진화시키는 자기 개선

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Debate 학습으로 LLM 보상 해킹 완화

LLM-as-a-Judge 서베이

다양한 모델의 협력으로 라벨 없는 추론 학습

PaperGym: 연구 논문을 계획 생성 학습 환경으로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Debate 학습으로 LLM 보상 해킹 완화

LLM-as-a-Judge 서베이

다양한 모델의 협력으로 라벨 없는 추론 학습

PaperGym: 연구 논문을 계획 생성 학습 환경으로 전환