PyVision-RL: 강화학습을 통한 개방형 에이전트 시각 모델 구축

멀티모달 AI가 강화학습 시 도구 사용을 포기하는 '상호작용 붕괴' 문제를 해결하여 복잡한 시각 추론 능력을 확보했다. 비디오 처리 시 필요한 프레임만 선택적으로 사용하는 방식을 통해 연산 효율성을 극대화했다.

딥러닝 모델의 학습은 손실 함수를 줄이는 방향으로 gradient descent를 수행하는데, 멀티모달 에이전트의 경우 도구 사용 과정에서 발생하는 복잡성이 오히려 학습을 방해하는 '상호작용 붕괴'를 초래하곤 한다. 이는 모델이 리스크를 줄이기 위해 도구 사용을 최소화하려는 경향 때문이다. PyVision-RL은 '누적 도구 보상'을 통해 이 문제를 해결한다. 정답을 맞혔을 때만 도구 사용 횟수에 비례한 보상을 추가함으로써, 모델이 도구를 활용해 시각적 증거를 찾는 행위가 보상을 높이는 유효한 전략임을 학습하게 한다. 또한 Transformer의 Attention 메커니즘은 입력 토큰 수의 제곱에 비례해 연산량이 늘어나는데, 비디오 전체를 입력하는 대신 필요한 프레임만 골라 쓰는 '온디맨드' 방식을 도입했다. 이는 모델이 스스로 어떤 정보가 중요한지 판단하고 선택하게 함으로써 연산 효율과 추론 성능을 동시에 잡는 원리다.

전체 프레임워크는 GRPO를 기반으로 하며, 에이전트의 상호작용 붕괴를 막기 위한 보상 설계와 샘플 선택 전략에 집중한다. 누적 도구 보상은 [정답 시 1, 오답 시 0인 R_acc] → [도구 호출 횟수 n_tc에 0.1을 곱한 값과 합산] → [최종 보상 R] 순으로 계산된다. 이는 모델이 단순히 정답만 맞히는 것을 넘어, 도구를 활용해 논리적 근거를 확보하는 과정을 보상한다. 롤아웃 생성 시 Oversampling-Filtering-Ranking을 적용한다. [배치 사이즈보다 많은 샘플을 생성] → [실행 오류나 보상 차이가 없는 샘플 필터링] → [그룹 내 보상 표준 편차가 큰 어려운 샘플을 우선 선택] → [학습 신호가 명확한 데이터로 정책 업데이트]. PyVision-Video의 온디맨드 컨텍스트 구축은 [Python 런타임에 비디오 로드] → [모델이 fetch_frames 함수 실행] → [선택된 프레임만 MLLM 입력으로 전달] → [시각 토큰 최소화 및 추론 정확도 향상]의 메커니즘으로 동작한다.

PyVision-Image는 V* 벤치마크에서 기존 SOTA 대비 +6.9%, WeMath에서 +9.6% 향상된 성능을 기록했다. 에이전트 추론 성능(TIR-Bench)에서도 Qwen2.5-VL-7B 대비 +7.3%의 이득을 보였다. PyVision-Video는 VSI-Bench에서 44.0%의 정확도를 달성하며 Qwen2.5-VL-7B(38.0%)를 앞섰다. 특히 샘플당 평균 시각 토큰 사용량을 45K에서 5K로 약 89% 줄이는 압도적인 효율성을 증명했다. Ablation Study 결과, 누적 도구 보상(ATR)과 표준 편차 기반 샘플 정렬(SRK)이 학습 후반부의 성능 유지와 다회차 도구 사용 유도에 핵심적인 역할을 함이 확인됐다.

PyVision-RL은 Qwen2.5-VL-7B를 기반으로 Python 인터프리터를 기본 도구로 활용하는 에이전트 구조를 갖췄다. 모델은 자연어 추론과 실행 가능한 코드 블록을 교차 생성하며 환경과 상호작용한다. 학습 안정성을 위해 GRPO 알고리즘에서 표준 편차 정규화 항을 제거했다. [개별 보상에서 평균 보상을 뺀 값] → [Advantage로 사용] → [Gradient 업데이트]. 이 방식은 노이즈가 많은 에이전트 환경에서 업데이트의 분산을 줄여준다. 누적 도구 보상(Accumulative Tool Reward)은 R = R_acc + 0.1 * n_tc * 1_{R_acc=1} 수식을 따른다. [정답 여부와 도구 호출 횟수를 입력] → [정답 시 호출 횟수당 0.1의 가중치 부여] → [최종 보상 산출]. 이를 통해 모델이 정답을 찾기 위해 도구를 적극적으로 활용하도록 유도한다. Oversampling-Filtering-Ranking 전략은 [알파 배수만큼 샘플 생성] → [오류 샘플 제거] → [표준 편차 기반 난이도 정렬] → [상위 샘플 학습] 과정을 거쳐 학습 효율을 높인다. PyVision-Video는 온디맨드 컨텍스트 구축을 통해 비디오 전체를 입력하는 대신, 모델이 Python 코드로 요청한 프레임만 MLLM에 주입하여 토큰 사용량을 5K 수준으로 최적화했다.

Python 인터프리터가 호스트 파일 시스템에 접근할 수 있어 보안상 위험이 존재할 수 있으며, 실제 배포 시 샌드박스 환경 구축에 대한 신중한 고려가 필요하다.