소형 모델을 Recursive Language Model로 RL 파인튜닝하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Recursive Language Models (RLMs)은 복잡한 작업을 프로그래밍 환경인 REPL 내에서 재귀적으로 호출하여 해결하는 모델이다. 이 글은 소형 4B 모델을 네이티브 RLM으로 RL 파인튜닝하여, 대형 모델과 대등한 성능으로 증거 선택 작업을 수행하는 방법을 다룬다. 학습 과정은 단일 정책을 사용하여 부모와 자식 RLM 역할을 모두 수행하게 하며, 자식 롤아웃이 부모의 이점을 상속받도록 하여 별도의 보상 신호 없이 효율적인 학습을 가능하게 한다. 실험 결과, 파인튜닝된 4B 모델은 Claude Sonnet과 유사한 성능을 보이면서도 추론 비용과 지연 시간을 획기적으로 낮추는 것으로 나타났다.

배경

RLM(Recursive Language Model) 개념 이해, GRPO 및 강화학습 학습 기초, REPL 환경에 대한 이해

대상 독자

LLM 프로덕션 환경에서 효율적인 추론 전략을 고민하는 개발자 및 연구자

의미 / 영향

이 연구는 소형 모델이 RL fine-tuning을 통해 대형 모델 수준의 복잡한 추론 작업을 수행할 수 있음을 보여주며, 추론 비용과 지연 시간을 획기적으로 줄일 수 있는 가능성을 제시한다. 특히 재귀적 추론 기술이 대규모 모델 없이도 효율적으로 확장될 수 있음을 시사한다.

섹션별 상세

RLMs는 REPL 환경 내에서 하위 에이전트를 생성하여, 텍스트 생성뿐만 아니라 코드 실행을 통해 데이터를 검사하고 변환하는 방식으로 복잡한 작업을 수행한다.

소형 4B 모델을 RLM으로 학습시키기 위해서는 REPL 환경 탐색 방법과 하위 호출 구문을 익히는 Cold-start SFT 단계가 필수적이다.

근거

RL fine-tuning yields significant improvements on the single-paper task, with eval judge scores jumping from around 0.6 to 0.8 with Qwen3.5-4B. — Training section, RLM (no sub-calls) subsection

GRPO를 활용하여 부모 decomposer와 자식 sub-agent 역할을 모두 수행하는 단일 정책을 최적화함으로써, 재귀적 트리 구조 전반에서 일관된 행동을 유도한다.

자식 롤아웃이 부모의 이점을 상속받는 Advantage Inheritance 방식을 적용하여, 학습 손실 기여도를 균형 있게 조정하고 훈련 과정을 안정화한다.

최종 학습된 4B 모델은 증거 선택 작업에서 Claude Sonnet과 대등한 루브릭 점수를 기록하며, 추론 속도는 7초로 60초 이상 소요되는 대형 모델 대비 압도적인 효율성을 보인다.

근거

RL fine-tuned 4B model performs just as well as Claude Sonnet 4.6 with an identical RLM harness and REPL environment, all while being a fraction of the size and cost. — Results section

기술

Qwen3.5-4B
GRPO
REPL
Claude Sonnet

활용 사례

Evidence Selection
Recursive Reasoning
Long-context Tasks

언급된 리소스

논문Recursive Language Models

GitHubSkyRL