LLM 에이전트 루프를 위한 스티그머지 기반 기능 선택

섹션별 상세

기존 에이전트 루프는 모든 기능 정의를 컨텍스트에 로드하여 높은 토큰 비용을 지불하며, 선택 정확도는 카탈로그 크기가 커질수록 저하된다.

근거

Anthropic's own platform measurement reports 58 tools at approximately 55,000 tokens before the conversation even begins. — Section 1. Introduction

실패한 탐색(잘못된 도구 호출, 파라미터 오류 등)은 매번 반복되지만, 기존 시스템은 이를 학습하지 못해 동일한 비용을 계속 지불한다.

스티그머지 기반 레이어는 기능 간 전이를 방향성 그래프로 모델링하고, 성공적인 경로에 페로몬을 강화하며 사용되지 않는 경로는 시간 경과에 따라 감쇠시킨다.

선택 과정은 Thompson sampling을 사용하여 불확실한 옵션에 대한 탐색과 검증된 옵션에 대한 활용(exploitation) 사이의 균형을 맞춘다.

오프라인에서 다수의 에이전트 시뮬레이션을 통해 경로를 수렴시킨 뒤, 프로덕션에서는 이를 가이드로 활용하여 토큰 비용을 절감하고 실패 탐색을 최소화한다.