로컬 LLM 에이전트의 반복적 실수를 방지하기 위한 톰슨 샘플링 기반 규칙 집행 시스템

실용적 조언

에이전트의 반복 실수를 막으려면 프롬프트 수정 대신 도구 호출(Tool Call) 실행 직전에 규칙 기반 게이트를 두어 물리적으로 차단하는 것이 효과적이다.
규칙의 신뢰도를 관리하기 위해 베타 분포 기반의 피드백 루프를 도입하여 자동 감쇠 및 강화 시스템을 구축할 수 있다.

섹션별 상세

에이전트의 반복적 실수와 실행 레이어 차단 메커니즘을 구축했다. 시스템 프롬프트 수정만으로는 에이전트가 규칙을 무시하는 경우가 빈번하므로, 사용자가 '싫어요(👎)'를 누르면 오류 내용과 수정 사항을 캡처하여 '방지 규칙'으로 승격시킨다. 이 규칙은 에이전트의 도구 호출(Tool Call)이 실행되기 직전에 게이트 역할을 수행하며 물리적으로 실수를 차단한다.

톰슨 샘플링을 이용한 규칙 적응 시스템을 구현했다. 규칙의 집행 여부를 결정하기 위해 베타 분포(Beta Distribution)를 활용하며, 새로운 규칙은 높은 불확실성에서 시작하여 공격적으로 탐색(차단)을 수행한다. 올바른 차단 기록이 쌓인 규칙은 안정적인 집행 상태로 수렴하고, 정당한 동작을 잘못 차단하는 규칙은 시간이 지남에 따라 영향력이 감쇠하도록 설계했다.

규칙 도입 초기 단계의 콜드 스타트(Cold-start) 딜레마가 확인됐다. Beta(1,1) 분포로 시작하는 신규 규칙은 초기 약 20회의 평가 동안 지나치게 공격적으로 작동하여 정상적인 작업까지 차단할 위험이 있다. 반대로 Beta(2,5)와 같이 완만한 시작을 선택하면 'rm -rf'와 같은 치명적인 위험 명령어를 즉각 차단하지 못하는 보안 허점이 발생한다.

대안적 밴딧 알고리즘의 적용 가능성을 검토 중이다. 현재의 톰슨 샘플링 방식 외에 UCB1, EXP3 또는 컨텍스트 밴딧(Contextual Bandits)을 활용하여 규칙 집행의 정확도를 높이는 방안을 모색하고 있다. 특히 위험도가 높은 규칙을 즉각 활성화하면서도 일반적인 규칙의 오작동을 줄일 수 있는 최적의 초기 파라미터 설정에 대해 커뮤니티의 조언을 구했다.

용어 해설

톰슨 샘플링(Thompson Sampling): — 확률적 보상 예측을 기반으로 탐색(Exploration)과 활용(Exploitation) 사이의 균형을 맞추는 베이지안 알고리즘이다. 각 선택지의 보상 확률을 베타 분포로 모델링하며, 본문에서는 에이전트의 규칙 집행 여부를 결정하는 불확실성 관리 도구로 사용된다.
베타 분포(Beta Distribution): — 0과 1 사이의 값을 가지는 연속 확률 분포로, 성공과 실패 횟수를 파라미터로 받아 확률적 추론을 수행한다. 새로운 규칙의 신뢰도를 초기화(Beta(1,1))하거나 안정화된 규칙의 집행 확률을 계산하는 수학적 토대가 된다.
도구 호출(Tool Call): — LLM이 외부 함수, API, 또는 시스템 명령어를 실행하기 위해 생성하는 구조화된 요청이다. 에이전트가 실제 환경에 영향을 미치는 핵심 단계이며, 본문에서는 이 단계 직전에 규칙 게이트를 배치하여 실수를 물리적으로 차단한다.
콜드 스타트(Cold-start): — 데이터가 부족한 초기 단계에서 시스템이 적절한 판단을 내리기 어려운 문제를 의미한다. 새로운 방지 규칙이 생성되었을 때 이를 즉시 엄격하게 적용할지, 아니면 충분한 검증을 거칠지 결정하는 딜레마를 설명할 때 사용된다.