TACO: 에이전트형 도구 사용을 위한 도구 보상 최적화

시각 입력을 코드로 변형해 상세 관찰을 얻는 에이전트형 멀티모달 모델은 결정적 단서를 잡아내는 데 유리하지만 도구 호출이 항상 도움이 되지는 않는다. 도구 호출의 유·무·해를 구분하지 못하는 기존의 최종 보상 정책은 잘못된 호출을 장려하거나 유효한 호출의 기여를 흐릴 위험이 있다. TACO는 호출별로 실제로 정답 변경에 기여한 정도를 측정하고 그 정보를 토큰 수준으로 라우팅해 정확도와 응답 효율을 동시에 개선했다.

출발점과 기존 한계는 다음과 같다. 코드로 이미지를 변형하는 에이전트는 도구 호출 전후로 명확한 분기가 생기며, 기존 RLVR은 전체 궤적의 최종 보상만 최적화해 호출 단위의 기여를 분리하지 못했다. 이로 인해 모델이 내부 능력 향상을 통해 얻은 최종 성과가 도구 기여로 잘못 귀속되거나, 반대로 해로운 호출이 정답을 망가뜨려 올바른 사전 추론에 벌점을 주는 문제가 발생했다. 또한 기존의 과정 보상은 외부 판정자나 도구 출력 자체에 의존해 오도성을 판별하지 못했다.

해결 원리는 다음과 같다. 도구 호출을 경계로 프루브를 삽입해 호출 직전의 가상 답(a1)과 호출 직후의 확정 답(a2)을 얻는다. 정답 판정기 r_out(·)으로 두 답의 결과를 각각 평가한 뒤 Δ=r_out(a2)−r_out(a1)을 호출의 값으로 삼는다. 이 차분은 같은 질문·이미지·프리툴 추론을 공유하는 두 답 사이의 순수한 호출 기여를 산출해 프리툴 베이스라인과 프루브 조작을 상쇄한다.

달라지는 점은 다음과 같다. Δ가 양수이면 호출이 실제로 정답을 바꾼 유용한 호출로 판정되어 과정 채널과 최종 이득이 해당 토큰들에 전달된다. Δ가 음수이면 호출이 오도한 것으로 간주되어 과정 채널은 꺼지고 최종 이득의 책임은 툴 브랜치에 집중되어 사전 추론은 보존된다. Δ=0인 경우에는 이미 정답이거나 여전히 틀린 사례로 구분해 불필요한 보상을 억제하거나 실패한 시도에 대해 학습을 장려하는 보상 배분을 유지했다.

전체 접근 방식은 두 단계 학습과 이중 채널 이득 설계로 구성된다. 첫 단계는 Think–Code–Answer 형식의 궤적을 지도학습(SFT)으로 학습해 코드 호출 포맷과 샌드박스 실행 패턴에 대한 초기 정책을 만든다. 두 번째 단계는 GRPO 기반의 ON-policy 그룹 정규화를 적용한 RL로, 각 입력에 대해 G개의 롤아웃을 샘플링해 그룹 단위로 R_acc와 Δ를 정규화한 두 채널 이득을 계산한다.

핵심 메커니즘의 상세는 다음과 같다. 프루브 토큰으로 툴 오프(Think1 뒤)와 툴 온(최종 툴 브랜치 뒤)의 답을 greedy로 디코딩해 a1과 a2를 얻는다. r_out(a)는 규칙 기반 답 검사기로 +1/0/−1 값을 출력하며 DAPR은 Δ=r_out(a2)−r_out(a1)로 정의된다. Δ는 과정 채널의 원천 이득이 되며 그룹 정규화로 A2를 얻고, 최종 답의 포맷 보정 포함 점수 R_acc로 A1을 계산해 토큰별 게이트 m[t]로 라우팅한다.

학습 손실은 두 채널의 GRPO 클리핑 손실을 가중합한 형태이다. 툴-값 채널은 Δ≥0인 경우에만 활성화되는 궤적 레벨 게이트 g로 제어되며 최종 이득의 토큰별 라우팅은 m⊙A1로 마스크 처리된다. 최종 목표는 L_TACO=α1·L_GRPO(m⊙A1)+α2·L_GRPO(g·A2)이며 논문에서는 α1=1.0, α2=0.15를 사용했다.

메인 벤치마크 결과는 코드-툴 기반 시각 에이전트 그룹에서 상위 성능을 보였다. 논문에서 제시한 12개 벤치마크의 매크로 평균에서 TACO 기반 7B 모델은 68.1%를 기록해 동일 계열의 PyVision(63.7%) 등 기존 기법에 비해 4.4~8.1 포인트 우위를 보였다. 특히 고해상도 지각 과제(HR-8K, V*)에서 큰 이득이 관찰되어 도구 호출의 정확한 필요 판단이 성능에 직결된다는 점이 확인됐다.

앱레이션 결과는 두 구성요소의 기여를 분리해 보여주었다. DAPR을 제거해 프루브 합산 방식으로 바꾸면 평균이 72.0에서 67.5로 하락했고 OGAR을 비활성화하면 70.0으로 하락해 두 요소가 상호보완적임이 확인됐다. 합산형 변형은 학습 초기에 프루브 해킹으로 빠르게 보상이 오르지만 장기적 성능이 정체하거나 악화되는 경향을 보였다.

효율성 관점에서 TACO는 정확도와 지연을 모두 개선했다. 도구 호출을 필요한 경우에만 발생시키는 정책 학습으로 평균 응답 길이가 줄었고(약 720→640 토큰), 벤치마크별 엔드투엔드 지연이 감소해 예컨대 V*에서 89.6% 정확도에 2.3초의 지연을 기록해 기존 대비 지연이 짧았다. 이는 툴 호출 빈도 감소가 정확도 손실 없이 응답 속도를 개선한 사례이다.

전체 아키텍처는 Think, Code, Answer 세 특수 토큰을 사용해 토큰 세그먼트(𝒯1, 𝒞, 𝒯2)를 명확히 분리한 언어-비전 모델 기반 에이전트 구조이다. 모델은 질문 q와 이미지 I를 입력으로 받으며 코드 토큰은 샌드박스에서 실행되어 IMG 관찰을 반환하고 이후 𝒯2가 이를 근거로 최종 답 a_f를 생성한다. 프루브는 헤더를 사전 채워 디코딩해 a1과 a2를 얻는 방식으로 구현됐다.

수학적/알고리즘적 기반은 GRPO 정규화와 토큰별 게이팅의 결합이다. R_acc는 r_out(a_f)+0.5·R_fmt로 포맷 보정을 포함하며 A1은 그룹 평균·표준편차로 정규화된 최종 이득이다. 과정 채널 A2는 Δ를 그룹 정규화해 얻고, 토큰별 이득은 m[t]에 따라 마스크되어 최종 이득이 책임 토큰으로만 전달된다. 클리핑과 중요도 비율은 GRPO 서브루틴으로 처리되어 과대 업데이트를 방지한다.

구현 및 학습 세부사항은 다음과 같다. SFT는 Thyme 코퍼스를 재정제해 실행 가능 코드와 도구 필요 샘플만 유지한 데이터로 2 에폭을 수행했다. RL 단계는 G=8 롤아웃, 배치 128, 학습률 1e-6, α1=1.0, α2=0.15, KL 페널티 β=0을 사용하며 훈련은 8×80GB A100 노드에서 수행됐다. 프루브 디코딩은 greedy로 수행되어 계산 비용이 작고 별도의 외부 판정자 호출이 필요하지 않았다.

논문에서 명시한 한계는 도구 호출의 가치 판정 학습 자체가 여전히 병목이라는 점이다. Δ 기반 신호는 호출이 정답을 바꿀 때만 명확한 신호를 주므로 근본적으로 도구가 결정을 바꿀 가능성이 낮은 항목에서는 신호가 약하다. 또한 본 실험은 주로 7B급 백본과 샌드박스 설정에 대한 평가에 한정되어 있어 대규모 백본이나 다른 도구 환경에서의 일반화는 추가 검증이 필요하다.