TRACE: 역량 타겟팅 에이전트 학습

대형 언어 모델 에이전트가 특정 환경에서 겪는 반복적인 실패 원인을 자동으로 분석하고, 이를 해결하기 위한 전용 학습 환경을 생성하여 성능을 개선하는 새로운 프레임워크를 제안합니다. 기존의 범용적인 합성 데이터 학습보다 데이터 효율성이 높으며, 고객 서비스 및 도구 사용 벤치마크에서 기존 SOTA 모델들을 크게 상회하는 성과를 거두었습니다.

기존의 에이전트 학습은 전체 작업의 성공 여부라는 희소한 보상 신호에 의존하기 때문에, 모델이 정확히 어떤 세부 단계나 역량에서 실패했는지 파악하기 어렵다. 이는 마치 시험에서 틀린 문제의 정답만 외우게 하는 것과 같아 새로운 문제에 대한 응용력이 떨어진다.

TRACE는 모델의 실패 궤적과 성공 궤적을 Embedding 공간이나 텍스트 수준에서 대조하여 '구조적 데이터 추론'이나 '도구 호출 정밀도'와 같이 실패를 유발하는 구체적인 역량 결핍을 먼저 찾아낸다. 이를 통해 모델이 무엇을 모르는지 명확히 정의하는 단계에서 출발한다.

이후 찾아낸 결핍된 역량만을 집중적으로 훈련할 수 있는 '가상 훈련장(Synthetic Environment)'을 만든다. 이 환경은 실제 환경의 인터페이스를 유지하면서도 특정 역량을 발휘했을 때만 밀도 높은 보상을 주도록 설계되어, 모델이 복잡한 전체 작업 대신 부족한 기술 하나하나를 완벽히 마스터하게 만든다.

최종적으로 학습된 여러 기술(LoRA 어댑터) 중 현재 작업에 가장 필요한 것을 모델 스스로 선택하게 함으로써, 단일 모델로 모든 것을 해결하려 할 때 발생하는 성능 저하를 방지하고 복합적인 작업 수행 능력을 극대화한다.

TRACE는 네 단계의 파이프라인으로 구성된다. 첫째, 베이스 모델이 타겟 환경에서 생성한 궤적들을 분석 에이전트가 대조 분석하여 실패의 원인이 되는 역량 사전(Dictionary)을 구축하고 각 역량의 실패 기여도를 계산한다.

둘째, 식별된 각 역량에 대해 생성 에이전트가 합성 환경을 구축한다. 이 환경은 Gc(z) → xc 과정을 통해 랜덤 시드 z로부터 작업 인스턴스 xc를 생성하며, 도구 스키마와 상태 표현을 유지한 채 특정 역량 c의 실행 여부를 자동 검증하는 보상 함수 Rc를 포함한다.

셋째, 각 합성 환경에서 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 별도의 LoRA 어댑터 Δc를 학습시킨다. GRPO는 가치 함수 없이 동일 시드에서 생성된 궤적 그룹 내의 상대적 보상을 사용하여 Advantage를 계산하며, 수식으로는 A_hat = (r - mean(r)) / std(r) 과정을 거쳐 정규화된 학습 신호를 생성한다.

넷째, 추론 시에는 베이스 모델 πθ가 작업 설명과 역량 리스트가 포함된 라우팅 프롬프트 Mx를 입력받아 가장 적합한 역량 토큰을 선택한다. 선택된 역량에 해당하는 LoRA 가중치 BcAc를 베이스 가중치 W에 더해 W' = W + BcAc 형태로 활성화하여 최종 응답을 생성한다.

τ2-Bench(고객 서비스) 벤치마크에서 베이스 모델 대비 14.1포인트 향상된 47.0%의 전체 통과율을 기록하며, 가장 강력한 베이스라인보다 7.4포인트 높은 성능을 보였다. ToolSandBox(도구 사용)에서도 평균 유사도 0.552와 26개의 만점을 기록하며 기존 모델들을 압도했다.

효율성 측면에서 TRACE는 동일한 수의 궤적(Rollouts)을 사용할 때 GRPO 및 GEPA와 같은 기존 최적화 기법보다 각각 9.2포인트, 7.4포인트 더 높은 성능을 달성하여 데이터 효율성을 입증했다. 또한 단 2~4개의 LoRA 어댑터만으로도 전체 성능을 유의미하게 끌어올릴 수 있음을 확인했다.

Ablation Study 결과, 여러 역량을 하나의 모델에 통합 학습시키는 방식보다 TRACE의 라우팅 방식이 성능 저하 없이 각 역량을 더 효과적으로 보존하고 활용하는 것으로 나타났다. 특히 구조적 데이터 추론 역량은 전체 실패의 약 41%를 커버하는 핵심 요소임이 분석을 통해 밝혀졌다.

TRACE 아키텍처는 분석(Analysis), 생성(Generation), 학습(Learning), 라우팅(Routing)의 모듈형 구조를 가진다. 분석 단계에서는 Contrastive Gap Δ(c) = ER-(c) - ER+(c) 지표를 사용하여 실패 궤적에서 유독 높게 나타나는 역량 결핍을 통계적으로 추출한다.

학습 알고리즘으로 채택된 GRPO는 PPO의 복잡한 가치 네트워크(Value Network) 없이도 그룹 내 상대적 비교를 통해 효율적인 정책 업데이트가 가능하다. 각 역량별 LoRA 어댑터는 전체 파라미터의 약 5.3%만을 업데이트하여 학습 비용을 최소화한다.

라우팅 메커니즘은 별도의 분류기 학습 없이 베이스 모델의 Next-token Logits을 활용하는 Training-free 방식을 취한다. 이는 새로운 역량이 추가되어도 전체 시스템을 재학습할 필요 없이 어댑터만 추가하면 되는 확장성을 제공한다.

합성 환경 생성 시에는 절차적 생성(Procedural Generation) 기법을 적용하여 데이터 암기(Memorization)를 방지하고, 도구 인자(Tool Arguments)나 상태 변화를 직접 검증하는 알고리즘적 보상을 통해 학습 신호의 신뢰성을 확보했다.

논문은 분석 에이전트가 때때로 경쟁적인 역량 카테고리를 폐기하거나, 특정 실패 모드가 집중되지 않고 분산되어 있을 경우 역량 식별의 효율성이 떨어질 수 있음을 언급했다. 또한 현재 시스템은 한 번에 하나의 어댑터만 활성화하는 구조로, 여러 역량이 동시에 필요한 복합 작업에서의 최적화 여지가 남아있다.