도구 설명 문구 하나가 LLM의 도구 사용률에 미치는 영향

주요 논점

01중립다수

도구 설명 문구는 모델마다 다르게 해석되므로 범용적인 '좋은' 설명은 존재하지 않는다.

합의점 vs 논쟁점

합의점

도구 설명 문구가 모델의 도구 사용 행동에 실질적인 영향을 미친다.
모델마다 도구 사용에 대한 반응이 다르므로 개별적인 튜닝이 필요하다.

실용적 조언

도구 호출이 중요한 워크플로에서는 모델별로 도구 설명 문구를 개별적으로 테스트하고 최적화할 것.
최종 출력값뿐만 아니라 도구 호출률을 모니터링하여 프롬프트의 영향을 평가할 것.

섹션별 상세

6개 모델을 대상으로 계산기 도구 사용 실험을 진행했다. 모든 모델이 도구 없이 수행할 수 없는 복잡한 곱셈 문제를 해결해야 하는 상황을 설정했다. 도구 설명 문구를 중립적인 상태와 '직접 지식을 우선하라'는 제약이 포함된 상태로 나누어 도구 호출률을 측정했다.

실험 결과 모델별로 세 가지 행동 양상이 나타났다. GPT-4o-mini와 DeepSeek-chat-v3는 제약 문구를 무시하고 100% 도구를 사용했다. 반면 Gemini-2.5-Flash와 Mistral-small-3.2는 지시를 문자 그대로 받아들여 도구 사용을 중단하고 오답을 출력했다.

6개 모델의 도구 설명 문구 변경에 따른 계산기 도구 사용률 변화를 보여주는 막대 그래프. — Chart중립적인 설명과 '직접 지식 우선' 설명 간의 도구 사용률 차이를 시각화했다. Gemini와 Mistral 모델은 제약 문구 추가 시 도구 사용률이 급격히 하락했으나, Claude는 오히려 상승하는 등 모델별로 상이한 반응을 나타낸다.

Claude-3.5-Haiku는 제약 문구를 해석하여 스스로 계산이 불가능하다고 판단하고 도구 호출을 오히려 늘렸다. 동일한 문구가 모델에 따라 도구 사용을 방해하거나 촉진하는 상반된 결과를 초래했다.

실무적으로는 모델별로 최적의 도구 설명이 다르다는 점이 확인됐다. 최종 결과물뿐만 아니라 도구 호출률을 모니터링하여 프롬프트의 영향을 지속적으로 평가해야 한다.

언급된 도구

OpenRouter중립

모델 호환성 레이어 제공

언급된 리소스

GitHubToolbench GitHub Repository