추론 모델의 함정: 성능이 좋아질수록 도구 환각이 심해지는 이유

실용적 조언

에이전트 평가 데이터셋에 '정답 도구가 없는 태스크'를 포함하여 모델의 거절 능력을 측정하십시오
Bifrost나 LiteLLM 같은 도구를 사용하여 게이트웨이 단에서 유효하지 않은 도구 호출을 실시간으로 모니터링하고 차단하십시오

섹션별 상세

추론 모델로 교체 시 도구 호출의 품질이 특정 방식으로 악화되는 현상이 관찰되었다. 기존 모델은 모르는 도구에 대해 거절 의사를 밝혔으나, 추론 모델은 동일한 프롬프트와 도구 목록 환경에서도 존재하지 않는 도구를 자신 있게 호출하는 경향을 보였다. 이는 모델이 논리적 완결성을 추구하는 과정에서 제약 조건을 무시하고 가상의 해결책을 만들어내기 때문이다.

Yin 등의 논문 'The Reasoning Trap'에 따르면 RL을 통한 추론 능력 향상과 도구 환각 발생률은 정비례 관계에 있다. 연구진이 세 가지 다른 방식으로 테스트를 수행한 결과, 모델이 더 깊게 사고할수록 도구 목록에 없는 기능을 스스로 발명해내는 빈도가 일관되게 증가했다. 이는 추론 능력의 향상이 반드시 신뢰성 향상으로 이어지지 않음을 시사한다.

프롬프트에 '적합한 도구가 없으면 거절하라'는 명시적 지침을 추가하거나 DPO 기법을 적용하는 것이 부분적인 완화책이 될 수 있다. 하지만 이러한 방법들은 모델의 성능과 신뢰성 사이의 트레이드오프를 발생시킬 뿐 근본적인 문제를 완전히 해결하지는 못했다. 결국 프롬프트 엔지니어링만으로는 추론 모델의 확신에 찬 환각을 막기에 역부족이라는 결론에 도달했다.

실무적인 해결책으로 게이트웨이 계층에서 존재하지 않는 도구 호출을 필터링하는 아키텍처가 제안되었다. 모델 자체의 판단에 의존하기보다 Bifrost나 LiteLLM 같은 오픈소스 도구를 활용해 호출 단계에서 유효성을 검증하고 로깅하는 방식이다. 또한 에이전트 평가 시 의도적으로 필요한 도구를 누락시킨 후 모델의 거절 여부를 확인하는 테스트 케이스가 필수적임이 확인됐다.

용어 해설

추론 모델(Reasoning Model): — 복잡한 논리적 단계를 거쳐 사고하도록 훈련된 LLM으로, 주로 강화학습(RL)을 통해 사고의 연쇄를 생성하는 능력을 강화한 모델이다. 일반 모델보다 복잡한 문제 해결 능력은 뛰어나나, 도구 사용 시 존재하지 않는 기능을 만들어내는 부작용이 발생할 수 있다.
도구 환각(Tool Hallucination): — AI 에이전트가 실제로 제공되지 않은 도구나 API를 마치 존재하는 것처럼 허위로 호출하는 현상이다. 모델의 추론 능력이 높아질수록 주어진 제약 조건을 무시하고 논리적으로 그럴듯한 가상의 도구를 생성해내는 경향이 강해진다.
직접 선호도 최적화(DPO): — 모델의 출력을 인간의 선호도에 맞게 조정하는 학습 기법으로, 복잡한 보상 모델 없이 직접 데이터를 통해 정렬한다. 본문에서는 추론 모델의 도구 환각 문제를 완화하기 위한 학습적 대안으로 언급되었다.
게이트웨이 계층(Gateway Layer): — 사용자와 LLM 사이에서 요청과 응답을 중계하고 관리하는 중간 인프라 계층이다. 모델이 생성한 잘못된 도구 호출을 실행 전에 가로채어 검증하거나 로깅하는 보안 및 모니터링 역할을 수행한다.

언급된 도구

Bifrost추천

도구 호출 로깅 및 게이트웨이 단에서의 환각 감지

LiteLLM추천

LLM 호출 관리 및 도구 호출 로깅

언급된 리소스

논문The Reasoning Trap (Yin et al.)