에이전트형 및 멀티모달 LLM를 위한 Context-Aware RL

왜 중요한가

대형 언어 모델은 긴 맥락에서 결정적인 증거를 간과하는 경향이 있다. ContextRL은 질문-답 쌍과 함께 두 개의 매우 비슷한 맥락을 제시하고, 쿼리-답을 뒷받침하는 컨텍스트를 선택하도록 모델에 보상한다. 이 보조 목적어를 GRPO에 결합하여 긴 호라이즌 추론과 시각적 추론에서의 정당한 맥락 grounding을 개선하며, 5개 장기 맥락 벤치마크와 12개 이미지 기반 벤치마크에서 성능이 향상된다. 데이터 증가 baselines와 비교 시, 개선은 데이터 자체가 아니라 학습 목적의 차이로 설명된다.

핵심 기여

ContextRL의 제안 및 문제 설정

ContextRL은 쿼리-답과 두 개의 컨텍스트(C+, C- )를 입력으로 받아, C+를 선택하도록 정책을 학습하는 컨텍스트 선택 보조 손실을 GRPO 기반 RL에 추가하는 방법이다.

Agentic 및 Multimodal 컨텍스트 쌍의 대규모 데이터 구성

Agentic 설정에서 SWE-trajectory를 통한 1k쌍, Multimodal 설정에서 Generative Editing 및 Similarity Retrieval으로 7k 이미지 쌍의 대조 데이터를 구성한다.

L_CA 손실과 GRPO의 결합으로 학습

L_CA(z; θ) = -log σ(clip(Δθ(z), -c, c))를 사용해 C+와 C- 간의 상대 선호를 학습하도록 하여, 출력이 올바른 맥락에 근거하도록 유도한다; L(θ) = E[DGRPO] + λ E[ L_CA ]로 표현된다.

데이터 증가 baselines와의 비교 및 일반화 평가

DA-SFT/DA-RL 같은 표준 데이터 증강은 성능 향상을 가져오지 못하거나 악화시키는 반면, ContextRL은 모든 벤치마크에서 일관된 이득을 보인다.

실험적으로의 일반성 및 성능 향상

5개 장기 벤치마크와 12개 멀티모달 벤치마크에서 두 베이스 모델(Qwen 시리즈, Klear-AgentForge) 모두에서 일관된 향상을 보이며, 더 큰 규모의 모델 대비 성능도 향상된다.

핵심 아이디어 이해하기

출발점: LLM은 맥락 내의 결정적 증거에 기반하지 못해 장기 추론과 멀티모달 문제에서 맥락 언더그딩(context grounding) 실패를 보인다. 해결 원리: 컨텍스트-선택 보조 손실(L_CA)을 GRPO에 도입해, 쿼리-답과 함께 제공된 두 맥락 중 올바른 컨텍스트를 선택하는 방향으로 정책을 학습하도록 한다. 데이터 구성은 에이전트 코딩 트레이젝토리와 이미지로 구성된 대조 쌍으로 이루어지며, 이들로부터 맥락 증거의 질을 직접 학습 신호로 사용한다. 달라지는 점: 같은 데이터에서 컨텍스트 선택 신호를 통해 장기 추론과 멀티모달 이해의 정당한 grounding을 확보하고, 데이터 증가-baseline보다 성능이 우수하며, 모델 규모나 도메인에 크게 의존하지 않는 일반화 능력을 보인다.

방법론

단계 요약:

ContextRL은 GRPO를 기반으로 하고, 추가 보조 손실 L_CA를 도입한다. L(θ) = E_x~~D_RL[ L_GRPO(x; θ) ] + λ E_{z~~D_CA}[ L_CA(z; θ) ].
L_CA(z; θ) = -log σ( clip( Δθ(z), -c, c ) ), Δθ(z) = ℓ_θ^{+}(z) − ℓ_θ^{-}(z). 이때 ℓ_θ^{+}는 C+의 다음 토큰 로짓, ℓ_θ^{-}는 C−의 로짓이다. 보정된 마진(clipping)으로 auxiliary gradient 폭을 제한한다.
Agentic 컨텍스트 쌍은 1k쌍의 SWE-trajectories를 필터링해 생성하고, Multimodal 쌍은 생성 편집 및 유사도 검색으로 7k를 구성한다.
대상 모델은 GRPO를 통해 최적화되며, lambda와 c의 하이퍼파라미터는 데이터셋에 따라 조정된다.

주요 결과

장기 추론 벤치마크에서 ContextRL은 베이스 모델 대비 평균 +2.2%의 향상을 보였고, 12개 멀티모달 벤치마크에서도 평균 +1.8%의 개선을 달성했다. 두 베이스 모델에서 모든 벤치마크에 대해 RL baseline 대비 우수한 성능을 기록하였다. 데이터 증가 baselines(DA-SFT, DA-RL)와의 비교에서 ContextRL의 이득은 데이터가 제공하는 정보가 아니라 학습 목표의 차이에서 기인함이 확인되었다.

기술 상세

아키텍처: GRPO 기반 RL에 L_CA를 보조 손실로 추가하는 모듈형 설계. 데이터 구성은 agentic(트젝토리)와 multimodal(이미지) 두 축으로 구성. 수학적 기반은 margin-based contrastive loss로, 각 kontrast 인스턴스(z=(Q,A,C+,C-))마다 C+를 선택하도록 로짓 차이 Δθ(z)에서 로짓-로짓 차이를 학습한다. Prior work 대비 차별점은 (i) 모듈화된 컨텍스트 선택 신호를 정책 업데이트에 직접 반영, (ii) modality-agnostic한 손실 구조, (iii) 데이터 증가 기법이 아닌 손실 설계의 효과를 확인.

실무 활용

ContextRL은 기존 RL 파이프라인에 경량의 컨텍스트-선택 보조 손실을 추가하는 방식으로, 장기 추론 및 멀티모달 기반 QA 시스템의 신뢰성과 해석가능성을 높인다.

장기 소스 코드 수정 및 디버깅 도구에 적용해 코드 기반 의사결정의 근거를 강화
멀티모달 의사결정 시스템에서 시각적 증거를 보다 정확하게 활용하도록 보정
기존 RL 기반 에이전트의 맥락 grounding 능력을 향상시키는 일반 모듈로 사용

코드 공개 여부: 공개

코드 저장소 보기

키워드

ContextAware-RLcontrastive-context-pairslong-horizon-reasoningmultimodal-reasoninggroundingGRPOagentic-codingimage-editing

용어 해설

대조적 맥락 쌍(Contrastive Context Pairs): — 두 컨텍스트 간의 차이를 통해 모델이 주어진 질문-답과 관련 맥락을 올바르게 선택하도록 구성된 학습 샘플.
컨텍스트 인식 손실(Context-Awareness Loss): — 대조 맥락 쌍에서 올바른 컨텍스트를 선택하는 모델의 경향을 강화하는 보조 손실 항.
생성 편집(Generative Editing): — 멀티모달 맥락의 대비 샘플 생성을 위한 이미지 편집 기법으로, 정답에 영향 주는 일부 영역을 수정해 대조 샘플을 생성.
grounding(Grounding): — 모델의 출력이 입력 맥락의 근거에 정확히 연결되도록 하는 능력.
대조 데이터(Contrastive Data): — 대조적 맥락 샘플과 원문 데이터로 구성된 학습 데이터 세트.
장기 추론(Long-Horizon Reasoning): — 긴 시퀀스의 정책 의사결정에서 맥락 정보를 더 잘 활용하도록 하는 추론 능력.
멀티모달 grounding(Multimodal Grounding): — 멀티모달 입력에서 시각·텍스트 증거를 함께 사용해 정답을 근거와 일치시키는 능력.