대형 언어 모델의 도구 사용을 위한 인컨텍스트 강화학습

왜 중요한가

LLM이 검색이나 계산기 같은 도구를 배우려면 수만 개의 정답 데이터를 학습시키는 비싼 과정(SFT)이 필수적이었으나, 이 논문은 프롬프트 예시만으로 강화학습을 시작해 이 비용을 획기적으로 줄였다. 특히 복잡한 검색이 필요한 문제에서 기존 방식보다 훨씬 높은 정확도를 보여주며 효율적인 AI 에이전트 학습의 새로운 방향을 제시한다.

핵심 기여

SFT 단계가 필요 없는 ICRL 프레임워크 제안

강화학습의 롤아웃 단계에서 소수의 예시(few-shot)를 제공하여 모델이 스스로 도구 사용법을 탐색하도록 유도함으로써, 고비용의 지도 학습 데이터 없이도 도구 활용 능력을 학습시킨다.

점진적 예시 감소를 통한 커리큘럼 학습 도입

학습 초기에는 많은 예시를 제공하다가 학습이 진행됨에 따라 예시 수를 점차 줄여 최종적으로는 예시 없이도(zero-shot) 모델이 독립적으로 도구를 호출할 수 있도록 유도하는 전략을 사용한다.

도구 출력값 제외를 위한 손실 마스킹 전략 적용

외부 도구가 반환한 텍스트는 모델이 생성한 것이 아니므로 정책 업데이트에서 제외하는 손실 마스킹(Loss Masking)을 적용하여 모델 자신의 추론 및 도구 호출 로직 학습에만 집중하게 한다.

다중 홉 추론 및 도구 활용 벤치마크 SOTA 달성

TriviaQA, HotpotQA 등 주요 QA 벤치마크에서 기존 SFT 기반 모델 및 Search-R1과 같은 강력한 베이스라인을 최대 8.9%p 차이로 앞지르는 성능을 입증했다.

핵심 아이디어 이해하기

Transformer 아키텍처는 사전 학습된 파라미터 내에 지식을 저장하지만, 이는 학습 시점 이후의 정보나 복잡한 연산에서 한계를 보인다. 이를 해결하기 위해 외부 도구를 호출하는 능력을 부여해야 하는데, 기존에는 사람이 직접 도구 사용 경로를 작성한 고비용의 SFT(Supervised Fine-tuning) 데이터가 필수적이었다. 데이터가 부족하면 모델은 강화학습의 초기 탐색 단계에서 유효한 도구 호출 문법을 찾지 못하고 무작위 토큰만 생성하는 문제에 직면한다.

ICRL은 강화학습(RL)의 탐색 과정 자체에 인컨텍스트 러닝(In-Context Learning)의 원리를 결합한다. 모델이 정답을 찾아가는 과정(Rollout)에서 프롬프트 상단에 도구 사용 예시를 몇 개 보여주면, 모델은 Gradient Descent를 통해 이 예시들의 패턴을 내재화한다. 즉, 정답 데이터를 미리 학습시키는 대신, 문제를 푸는 순간에 예시를 참고하며 스스로 정답 경로를 찾도록 유도하는 방식이다.

특히 학습이 진행될수록 예시의 개수를 3개에서 2개, 1개, 그리고 0개로 줄여나가는 커리큘럼을 적용한다. 이는 마치 자전거 보조 바퀴를 서서히 떼는 것과 같아서, 모델이 프롬프트라는 지팡이 없이도 스스로 도구를 호출하고 복잡한 다단계 추론을 수행할 수 있는 능력을 갖추게 한다. 결과적으로 모델은 외부 지식을 활용하는 법을 스스로 깨우치며 더 정확한 답변을 내놓게 된다.

방법론

ICRL의 핵심은 롤아웃 템플릿에 소수의 도구 사용 예시( $P_N$ )를 포함하는 것이다. 모델 정책 $\pi_\theta$ 는 쿼리 $q$ 와 예시 $P_N$ , 도구 $T$ 가 주어졌을 때 응답 $y$ 를 생성하며, 이는 $\pi_\theta(y | P_N, q, T) = \prod \pi_\theta(y_t | P_N, y_{<t}, q, H_t)$ 로 정의된다. 여기서 $H_t$ 는 이전 단계의 도구 상호작용 기록을 의미한다.

학습 알고리즘으로는 GRPO(Group Relative Policy Optimization)를 채택한다. 하나의 쿼리에 대해 여러 개의 응답 궤적( $\tau_i$ )을 샘플링한 후, 각 궤적의 보상 $R(\tau_i)$ 값들을 입력으로 하여 전체 평균을 빼고 표준편차로 나눈다. [보상 리스트 → 평균 차감 및 표준편차 나눗셈 → 정규화된 어드밴티지 $A_i$ ] 순으로 연산이 이뤄지며, 이 결과값은 해당 응답이 그룹 내 다른 응답들에 비해 얼마나 더 우수한지를 나타내는 지표가 된다.

도구 활용의 특수성을 고려하여 손실 마스킹(Loss Masking)을 적용한다. 외부 도구로부터 반환된 <information>...</information> 태그 사이의 토큰들은 모델이 생성한 것이 아니므로, 이 부분에 대한 로그 확률 계산을 마스킹하여 경사도(Gradient) 계산에서 제외한다. 이를 통해 모델은 오직 자신의 추론 과정과 도구 호출 문법 학습에만 집중한다.

보상 함수 $r_\phi$ 는 정답 정확도( $reward_{acc}$ )와 형식 준수( $reward_{format}$ )의 가중합으로 구성된다. 형식 보상은 XML 태그(think, search, answer)의 누락이나 불균형에 대해 페널티를 부여하며, $1.0 - \sum penalty(v)$ 식으로 계산되어 모델이 도구를 올바른 규격으로 호출하도록 강제한다.

주요 결과

Qwen2.5-3B 모델 기준, ICRL은 5개 QA 데이터셋 평균 정확도 40.16%를 기록하며 기존 최강 모델인 Search-R1(31.10%)을 8.94%p 차이로 압도했다. 특히 다단계 추론이 필요한 Musique 데이터셋에서는 기존 모델들보다 2배 가까운 성능 향상을 보였다. Qwen2.5-7B와 14B 모델에서도 각각 평균 49.12%, 51.84%의 정확도를 달성하며 모델 크기가 커질수록 성능이 효과적으로 확장됨을 입증했다.

커리큘럼 설계에 대한 분석 결과, 예시를 3개에서 0개로 바로 줄이는 것보다 3-2-0 단계로 서서히 줄이는 방식이 더 높은 정확도를 유지하는 데 유리했다. 너무 급격한 예시 제거는 모델이 충분히 탐색하기 전에 추론을 조기 종료하게 만드는 부작용을 낳았다. 또한 수학 추론 벤치마크인 AIME2025에서도 SFT 기반의 ReTool 모델보다 2.4%p 높은 성능을 보여 도구 활용의 범용성을 증명했다.

기술 상세

ICRL은 SFT의 콜드 스타트(Cold-start) 문제를 해결하기 위해 인컨텍스트 데몬스트레이션을 강화학습의 탐색 가이드로 활용한다. 이는 모델이 초기 단계에서 무작위 탐색에 빠지지 않고, 유효한 도구 호출 패턴을 빠르게 학습할 수 있게 돕는 소프트 수퍼비전(Soft Supervision) 역할을 한다.

아키텍처 측면에서 Qwen2.5 시리즈를 백본으로 사용하며, VeRL(Volcano Engine Reinforcement Learning) 프레임워크를 통해 분산 학습을 구현했다. 학습 시 bfloat16 정밀도를 사용하고 FSDP(Fully Sharded Data Parallel)를 적용하여 메모리 효율을 극대화했다. 학습률은 1e-5로 설정되었으며, 4대의 NVIDIA A100 GPU 환경에서 배치를 구성했다.

GRPO 알고리즘 적용 시 KL 페널티 계수를 0.001로 설정하여 정책이 참조 모델에서 너무 멀어지지 않도록 규제한다. 또한 최대 응답 길이를 2048 토큰으로 제한하고 쿼리당 최대 6회의 도구 호출 턴을 허용하여 복잡한 다중 홉 추론을 지원한다. 검색 도구로는 BM25 리트리버를 사용하여 상위 3개의 문서를 반환하도록 구성했다.

수학적 기반으로서 보상 설계는 EM(Exact Match) 기반의 희소 보상(Sparse Reward)과 형식 기반의 조밀 보상(Dense Reward)을 결합한다. 이는 모델이 정답을 맞히는 것뿐만 아니라, 도구 사용의 구조적 문법을 내재화하도록 유도하는 핵심 장치다. 특히 손실 마스킹을 통해 외부 지식 주입 시 발생할 수 있는 정책 왜곡을 방지했다.

한계점

공격적인 커리큘럼(예시를 너무 빨리 제거하는 경우)이 모델의 조기 종료를 유도하고 다단계 추론 능력을 약화시킬 수 있음을 확인했다. 또한 현재 실험은 주로 검색과 코드 실행 도구에 집중되어 있어, 더 다양한 도구 환경에서의 일반화 가능성에 대한 추가 연구가 필요하다.

실무 활용

고비용의 레이블링 데이터 없이도 기업 내부 도구나 특정 API를 사용하는 맞춤형 AI 에이전트를 구축할 때 매우 유용하다. 기존 SFT+RL 방식보다 데이터 구축 비용을 획기적으로 낮추면서도 높은 성능을 기대할 수 있다.

기업 내부 DB나 API 문서를 참고하여 답변하는 고객 지원 에이전트 학습
최신 웹 검색 결과를 조합하여 심층 리포트를 작성하는 리서치 자동화 도구
복잡한 수식 계산이나 데이터 분석을 위해 파이썬 코드를 실행하는 수학 보조 AI
다양한 외부 툴(캘린더, 메일 등)을 연동하여 업무를 수행하는 개인 비서 모델

코드 공개 여부: 공개

코드 저장소 보기

키워드

ICRL(인컨텍스트 강화학습)LLM(대형 언어 모델)Tool Use(도구 활용)GRPO(그룹 상대 정책 최적화)Few-shot Prompting(퓨샷 프롬프팅)Multi-hop Reasoning(다단계 추론)

용어 해설

지도 미세 조정(SFT): — 사람이 작성한 정답 데이터(질문-도구 호출-결과-최종 답변)를 모델에 직접 학습시키는 방식이다. 모델에게 정답 경로를 명시적으로 보여주어 초기 성능을 확보하지만, 고품질 데이터를 대량으로 구축하는 데 막대한 비용과 시간이 소요된다는 단점이 있다.
그룹 상대 정책 최적화(GRPO): — 별도의 가치 모델(Value Model) 없이, 하나의 질문에 대해 생성된 여러 응답 그룹 내에서 상대적인 보상을 비교하여 모델을 업데이트하는 강화학습 알고리즘이다. 연산 자원을 절약하면서도 모델의 추론 능력을 효과적으로 향상시킬 수 있어 최근 대형 모델 학습에 널리 사용된다.
롤아웃(Rollout): — 강화학습 과정에서 현재의 모델(정책)을 사용하여 실제로 질문에 대한 답변이나 행동 경로를 끝까지 생성해보는 단계를 의미한다. 이 단계에서 생성된 결과물에 대해 보상을 부여하고, 그 보상을 바탕으로 모델의 가중치를 업데이트하여 더 나은 결과를 내도록 유도한다.
손실 마스킹(Loss Masking): — 학습 과정에서 특정 토큰 구간에 대한 손실(Loss) 계산을 의도적으로 제외하는 기법이다. 이 논문에서는 외부 도구가 반환한 정보처럼 모델이 직접 생성하지 않은 텍스트 구간을 마스킹하여, 모델이 오직 자신의 추론 로직과 도구 호출 문법을 개선하는 데만 집중하게 한다.
다단계 추론(Multi-hop Reasoning): — 단순한 지식 인출을 넘어, 여러 단계의 정보 검색과 논리적 결합이 필요한 복잡한 사고 과정을 의미한다. 예를 들어 'A의 고향에서 열리는 축제의 이름은?'이라는 질문에 답하기 위해 A의 고향을 먼저 찾고, 그 지역의 축제를 다시 검색하는 식의 연속적인 도구 활용 능력이 요구된다.

대형 언어 모델의 도구 사용을 위한 인컨텍스트 강화학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드