로컬 에이전트의 거짓 도구 호출을 잡아내는 방법과 검증 라이브러리 공유

실용적 조언

에이전트가 도구에 전달하는 인자에 대해 SQL 인젝션 스캔을 수행할 것
Ollama를 판별 모델(Judge)로 사용하여 API 비용 없이 검증 시스템을 구축할 것

섹션별 상세

에이전트의 도구 호출 신뢰성 문제에 대해 작성자는 로컬 LLM 에이전트가 실제로는 도구를 호출하지 않았음에도 불구하고 그럴듯한 결과를 반환하며 호출했다고 주장하는 현상을 지적했다. 이를 해결하기 위해 텍스트 기반의 결과 확인 대신 실행 추적(trace)을 구조화된 객체로 변환하여 논리적 흐름을 검증하는 방식을 도입했다. 이러한 접근은 에이전트의 동작을 블랙박스로 두지 않고 투명하게 모니터링할 수 있게 한다.

도구 호출 순서 및 중복 검증을 위해 confirm_booking 호출 전에 반드시 search_flights가 선행되었는지 확인하거나, 동일한 도구가 반복적으로 호출되는 루프 현상을 감지하는 로직을 구현했다. 전체 단계 수와 고유 단계 수를 비교함으로써 에이전트가 진전 없이 공회전하는 실패 모드를 효과적으로 포착할 수 있었다. 이는 에이전트의 실행 효율성을 높이고 불필요한 연산 낭비를 방지하는 데 기여한다.

도구 인자(Arguments) 보안 스캔 과정에서 도구의 이름뿐만 아니라 전달되는 인자 값까지 검사하여 사용자 입력이 정제되지 않은 채 데이터베이스 도구로 전달되는 SQL 인젝션 패턴을 발견했다. 이는 에이전트가 외부 도구와 상호작용할 때 발생할 수 있는 보안 취약점을 사전에 차단하는 데 중요한 역할을 한다. 로컬 모델을 판별기(Judge)로 활용하여 외부 API 호출 없이도 이러한 보안 검사를 수행할 수 있다.

용어 해설

도구 호출(Tool Calling): — LLM이 외부 API나 함수를 실행할 수 있도록 하는 기능이다. 모델이 텍스트 생성 외에 실제 작업을 수행하게 하며, 에이전트 시스템의 핵심 구성 요소이다.
환각 현상(Hallucination): — AI 모델이 사실이 아니거나 실제로 수행하지 않은 작업을 마치 수행한 것처럼 그럴듯하게 답변하는 현상이다. 에이전트가 도구를 호출하지 않고도 결과값을 지어내는 경우 시스템 신뢰도를 저하시킨다.
SQL 인젝션(SQL Injection): — 데이터베이스 쿼리에 악의적인 코드를 삽입하여 정보를 탈취하거나 조작하는 공격 기법이다. 에이전트가 사용자 입력을 검증 없이 데이터베이스 도구에 전달할 때 발생할 수 있는 주요 보안 위협이다.
추적 분석(Trace Analysis): — 시스템의 실행 과정을 기록한 로그(Trace)를 분석하여 동작의 정확성을 검증하는 과정이다. 텍스트 응답 대신 구조화된 데이터를 분석함으로써 에이전트의 논리적 오류나 루프를 효과적으로 포착한다.

언급된 도구

Ollama중립

로컬 LLM 실행 및 에이전트 구동 엔진

Rubric Eval추천

에이전트 실행 추적 분석 및 도구 호출 검증 라이브러리

언급된 리소스

DemoRubric Eval Demo

GitHubRubric Eval GitHub