다양한 모델의 협력으로 라벨 없는 추론 학습

왜 중요한가

추론 능력이 사람의 평가 범위를 넘어가면 정답 라벨과 외부 검증기를 대규모로 확보하기 어렵다. Co-RL은 서로 다른 모델이 만든 다수결 답변을 교차 보상으로 사용해 자기 보상 강화학습의 오류 고착과 training collapse를 줄인다. 텍스트 7개 benchmark에서 평균 3.0–8.6%, multimodal 4개 benchmark에서 평균 2.3–7.2% 향상을 기록해 라벨 없는 학습의 적용 범위를 넓혔다.

핵심 기여

동료 모델 기반 교차 보상

Co-RL은 parameter와 gradient를 공유하지 않는 여러 model을 동시에 학습시키고, 각 model의 응답을 지정된 동료 model의 다수결 답변과 비교해 1 또는 0의 보상을 부여한다. 각 agent는 자신의 예측이 아닌 다른 agent의 pseudo-label에 맞춰 GRPO 업데이트를 수행한다. 이 구조가 자기 예측을 다시 자기 보상으로 사용하는 feedback loop를 끊는다.

다양한 cohort로 오류 상관성 감소

서로 다른 model family, parameter 규모, 독립적인 policy optimization, 입력 재작성으로 cohort의 다양성을 높인다. 각 agent는 같은 문제에 대해 서로 다른 tokenizer, architecture, pretraining data, vision encoder 또는 문제 표현을 사용하므로 오답이 겹칠 가능성이 낮아진다. 낮은 error overlap은 더 보정적인 pseudo-label과 안정적인 학습 신호로 이어진다.

텍스트와 multimodal 추론에서 성능 확인

Co-RL은 수학, coding, 지식 추론을 포함한 7개 text-only benchmark에서 여러 LLM의 평균 성능을 3.0–8.6% 높였다. MathVision, MathVerse, MathVista, We-Math에서는 2.3–7.2%의 평균 향상을 기록했고 일부 설정에서 GT-Reward와 같거나 높은 성능을 냈다. CoMAS 비교에서는 절반의 agent만 사용하면서 평균 4.0% 높은 점수를 기록했다.

핵심 아이디어 이해하기

강화학습은 프롬프트를 입력받아 여러 응답을 생성하고, 각 응답의 보상으로 policy가 더 높은 보상을 내는 방향을 학습한다. Self-rewarding RL에서는 같은 policy의 다수결이나 confidence를 보상으로 쓰므로 현재 가장 흔한 답이 오답이어도 그 답을 더 강하게 선택하는 self-confirming 업데이트가 발생한다. Co-RL은 서로 독립적으로 갱신되는 동료 model에서 pseudo-label을 가져와 이 문제를 분리한다. 한 agent가 K개 응답을 생성하면 다른 agent의 K개 응답에서 다수결 답을 만들고, 전자의 답이 그 pseudo-label과 일치할 때만 보상 1을 부여한다. model들의 초기 능력이 상호 보완적이면 한 model이 맞힌 답이 다른 model의 오답을 교정하는 방향으로 작동해 정답으로 수렴하는 영역이 넓어진다.

방법론

Co-RL은 N개의 decoupled policy를 준비하고 각 policy에 별도 parameter, optimizer state, reference policy를 유지한다. 매 training step에서 unlabeled prompt batch를 뽑은 뒤 각 agent가 같은 prompt에 대해 K개의 completion을 독립적으로 생성하고 answer-extraction function으로 최종 답을 추출한다. 이 생성과 추출은 어떤 policy update보다 먼저 모두 완료되어 현재 step의 보상 계산이 갱신 중인 policy에 영향을 받지 않는다.

각 agent n의 supervision target은 순환 구조에서 이전 agent n−1이 생성한 K개 답변의 majority vote로 정한다. agent n의 각 completion은 자신의 최종 답이 동료의 pseudo-label과 같으면 reward 1, 다르면 reward 0을 받으며, agent n은 자기 응답으로 자기 target을 만들지 않는다. 두 agent 설정에서는 서로가 서로의 보상 공급자가 되고, 세 agent 이상에서는 directed ring을 따라 동료의 표가 전달된다.

각 agent의 K개 보상은 해당 rollout group 내부에서 평균과 표준편차를 이용해 group-relative advantage로 정규화된다. GRPO는 이 advantage와 현재 policy 대 과거 policy의 token-level probability ratio를 이용해 clipped surrogate objective를 최적화하고, reference policy와의 KL 차이에 패널티를 부과한다. 이 과정을 거치면 동료의 pseudo-label과 일치한 completion의 token 확률은 상대적으로 커지고 불일치한 completion의 확률은 작아진다.

다양성은 model family와 규모, 입력 형식, 독립적인 업데이트에서 만든다. 실험에서는 Qwen2.5와 Llama 계열을 짝지었고, vision-language 설정에서는 Qwen2.5-VL, InternVL3.5, Gemma-3처럼 서로 다른 vision encoder와 language backbone을 가진 model을 결합했다. 일부 MATH 문제는 DeepSeek-V3로 의미와 정답을 유지한 채 재작성해 한 agent에는 원문을, 다른 agent에는 재작성 문장을 입력했다.

주요 결과

Qwen2.5-3B에서 Co-RL Different family+는 7개 benchmark 평균 49.3%를 기록해 Base 40.7%, TTRL 47.3%, GT-Reward 47.4%보다 높았다. 같은 설정의 Llama-3.2-3B-Instruct는 Base 38.7%에서 43.9%로 상승했고, Co-RL Different family는 43.7%를 기록했다. 세 agent를 함께 학습한 설정에서도 Qwen2.5-3B, Llama-3.2-3B-Instruct, Qwen3-1.7B의 평균 향상 폭은 각각 7.8%, 6.0%, 8.2%였다.

CoMAS와 같은 multi-agent RL 평가 조건에서 Co-RL은 GSM8K 89.5%, MATH-500 68.6%, HumanEval 82.32%, MBPP 68.00%, MMLU 65.80%, GPQA 29.69%, SciBench 36.87%를 기록해 평균 62.97%를 냈다. CoMAS의 평균 58.94%보다 4.0% 높았고 7개 benchmark 중 5개에서 앞섰다. 이 비교에서 Co-RL은 CoMAS보다 agent 수를 절반으로 줄였으며 LLM judge도 사용하지 않았다.

Vision-language 실험에서 Qwen2.5-VL-3B와 InternVL3.5-2B를 결합한 Co-RL은 open-r1 데이터에서 평균 43.89%를 기록해 Base 37.24%, TTRL 42.54%보다 높았다. MMR1 데이터에서는 Qwen2.5-VL-3B와 InternVL3.5-2B 조합이 평균 41.12%를 기록해 Base 37.24%, TTRL 37.97%보다 높았다. 더 큰 규모에서도 Co-RL은 TTRL을 꾸준히 앞섰고 Gemma-3-12B에서는 GT-Reward보다 높은 성능을 기록했다.

학습 곡선에서는 Co-RL이 reward variation과 completion length를 비교적 안정적으로 유지했다. 반면 self-rewarding baseline에서는 reward collapse, completion length degeneration, divergence가 관찰됐다. 두 model을 각각 TTRL로 학습한 baseline과 training·inference budget을 맞춘 추가 비교에서도 Co-RL의 평균 점수가 더 높아져 단순한 ensemble이나 추가 계산량만으로 결과를 설명하기 어려웠다.

기술 상세

기본 RL 설정에서 prompt x가 주어지면 autoregressive policy가 response y를 token 단위로 생성하고 response-level reward를 최대화한다. Co-RL은 이 reward를 정답 판정 대신 동료의 다수결 답과의 일치 여부로 만들며, 각 agent의 rollout group 안에서 보상을 정규화해 GRPO advantage로 바꾼다. 따라서 입력은 unlabeled prompt와 K개 completion이고, 중간 처리는 answer extraction·peer majority vote·binary reward·group normalization이며, 출력은 각 policy의 독립적인 clipped update다.

GRPO의 token-level ratio는 현재 policy가 생성 token에 부여하는 확률을 old policy의 확률로 나눈 값이다. 이 ratio를 clipping 범위 안에서 advantage와 곱해 큰 policy 변화를 제한하고, reference policy와의 KL penalty로 업데이트 방향을 제어한다. 논문은 language model에 learning rate 3 × 10⁻⁶, agent당 effective batch 128 prompts, 3072-token cap, K=12, 2 epochs를 사용했으며 VLM에는 learning rate 1 × 10⁻⁶, 1024-token cap, K=8, 1 epoch를 사용했다.

이론 분석은 한 prompt에서 정답을 생성할 확률을 각 agent의 p로 두고 self-rewarding과 cross-agent supervision의 동역학을 비교한다. self-rewarding에서는 p가 0.5보다 낮으면 현재 오답이 다수일 가능성이 높아 p가 더 낮아지고, p가 0.5보다 높으면 정답 확률이 더 높아지는 방향으로 움직인다. 두 agent Co-RL에서는 정답 확률을 pA와 pB로 둘 때 pA+pB>1이면 두 agent가 정답 consensus로 수렴하고, pA+pB<1이면 오답 consensus로 수렴하며, pA+pB=1이 경계가 된다.

논문이 든 예에서 절반의 prompt에서는 두 agent의 정답 확률이 각각 0.9와 0.2이고 나머지 절반에서는 0.2와 0.9다. 각 agent의 평균 정확도는 0.55지만 모든 prompt에서 pA+pB=1.1이므로 Co-RL 이론은 두 agent가 전체 prompt에서 정답으로 수렴해 정확도 1.0에 도달하는 경우를 설명한다. 반대로 self-rewarding은 각 agent가 p>0.5인 절반의 prompt만 강화해 최종 정확도 0.5에 머문다.

실험은 MATH level 3–5와 MMR1-Math, multimodal-open-r1에서 수행했으며 AdamW와 temperature 1.0을 공통으로 사용했다. language model은 Qwen3-1.7B, Qwen2.5-3B, Llama-3.2-3B-Instruct, Qwen2.5-7B, Llama-3.1-8B-Instruct를 포함했고, VLM은 Qwen2.5-VL, InternVL3.5, Gemma-3를 포함했다. 모든 실험은 agent당 H100 4개를 배정한 단일 node의 H100 8개에서 실행됐으며 Gemma-3 VLM에는 rollout과 policy 분포 차이를 보정하는 token-level importance sampling을 추가했다.

실무 활용

Co-RL은 정답 라벨이나 외부 LLM judge 없이 여러 model을 함께 fine-tuning해야 하는 추론 학습에 활용할 수 있다. GitHub에 구현 코드가 공개되어 있으며, 각 model의 parameter와 gradient를 분리한 채 동료의 다수결 답변만 보상 경로로 연결한다.

정답 라벨을 만들기 어려운 수학·coding 문제의 reasoning model 학습에 사용할 수 있다. 여러 model이 같은 unlabeled prompt에 대해 K개 응답을 생성하고 서로의 majority vote를 보상으로 바꾸므로 사람이 모든 풀이를 채점하지 않아도 된다. 다만 pseudo-label의 품질은 cohort model의 다양성과 초기 정확도에 좌우된다.
서로 다른 vision encoder와 language backbone을 가진 VLM을 multimodal 수학 문제에 공동 적용할 수 있다. 한 model의 이미지 해석과 다른 model의 reasoning 강점을 교차 보상에 반영하고, MathVision·MathVerse·MathVista·We-Math 같은 benchmark로 성능을 측정할 수 있다. 논문은 Qwen2.5-VL, InternVL3.5, Gemma-3 조합에서 이 사용 방식을 실험했다.
self-rewarding RL에서 reward collapse나 응답 획일화가 나타나는 학습 파이프라인의 대안으로 사용할 수 있다. 독립 policy를 유지하고 동료의 pseudo-label만 보상에 사용해 자기 예측을 직접 강화하는 경로를 줄인다. 실제 적용에서는 논문이 사용한 H100 8개 단일 node, learning rate, rollout 수와 token cap을 기준점으로 삼아 자원과 안정성을 조정해야 한다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Co-RL(협력형 다중 agent 강화학습)Self-rewarding RL(자기 보상 강화학습)GRPO(그룹 상대 정책 최적화)Peer-derived Reward(동료 유도 보상)Cohort Diversity(모델군 다양성)Training Collapse(학습 붕괴)Multimodal Reasoning(멀티모달 추론)

용어 해설

검증 가능한 보상(Verifiable Reward): — 모델의 응답이 정답이나 외부 검증 기준을 충족하는지에 따라 부여하는 강화학습 보상이다. Co-RL은 이런 정답 라벨이나 외부 검증기 없이 다른 모델의 다수결 결과를 보상 신호로 사용한다.
자기 보상 강화학습(Self-rewarding RL): — 모델이 자신의 여러 응답, 확률 분포, 자기 일관성 등을 이용해 보상을 직접 만드는 강화학습 방식이다. 모델의 판단만 반복해서 사용하기 때문에 기존 편향과 오류가 강화되고 응답이 획일화될 위험이 있다.
GRPO: — 별도의 critic 모델 없이 같은 프롬프트에서 생성한 여러 응답의 보상을 그룹 안에서 정규화해 상대적 advantage를 계산하는 정책 최적화 방법이다. Co-RL은 각 모델의 응답을 동료 모델의 다수결 보상과 결합해 GRPO를 수행한다.
의사 라벨(Pseudo-label): — 사람이 직접 부여한 정답 라벨 대신 모델의 예측을 이용해 만든 학습 목표다. Co-RL에서는 한 동료가 생성한 K개 답변에서 가장 많이 나온 답을 다른 동료의 의사 라벨로 삼는다.
상관된 오류(Correlated Errors): — 서로 다른 모델이 같은 문제에서 동일한 오답을 내는 현상이다. 모델군이 비슷할수록 이런 오류가 겹칠 가능성이 커지므로 Co-RL은 모델 family, 크기, 입력 표현을 달리해 상관된 오류를 줄인다.

다양한 모델의 협력으로 라벨 없는 추론 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

SFT 충돌과 RL 공존의 LLM 다중태스크 분석

CoGR: 검색 매칭을 함께 진화시키는 두 LLM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

SFT 충돌과 RL 공존의 LLM 다중태스크 분석

CoGR: 검색 매칭을 함께 진화시키는 두 LLM