Claude의 과도한 도구 사용과 비용 문제에 대한 비판

커뮤니티 반응

도구 사용 제어의 필요성에 공감하며, 유사한 비용 문제를 겪은 사용자들의 경험 공유가 이어짐.

주요 논점

01찬성다수

범용 모델의 무분별한 도구 사용은 비용 낭비이며, 버티컬 앱을 통한 제어가 필수적이다.

합의점 vs 논쟁점

합의점

LLM의 도구 사용 제어 능력이 아직 미흡하다.
도구 호출이 많아질수록 비용과 토큰 소비가 통제 불가능해진다.

논쟁점

모델 자체의 개선이 우선인지, 외부 앱을 통한 제어가 우선인지에 대한 논의.

실용적 조언

도구 호출이 잦은 작업에서는 모델이 모든 도구를 사용하지 못하도록 제한하는 환경을 구축하라.
특정 도메인 작업 시 범용 모델 대신 도구 사용이 제한된 전용 앱을 활용하라.

섹션별 상세

Claude는 도구 접근 권한이 있을 경우 상황 판단 없이 무분별하게 도구를 호출하는 경향이 있다. 예시로 S-1 서류 기반의 재무제표 예측 요청 시 불필요한 웹 검색을 356회 수행했다. 이로 인해 53줄짜리 결과물을 얻는 데 20.64달러의 비용이 발생했다. 모델의 도구 사용 제어 능력이 부족하여 토큰 소비와 비용 효율성이 저하된다.

작성자는 도구 사용 범위를 제한한 자체 데스크톱 앱을 구축하여 동일한 작업을 수행했다. 해당 앱은 엑셀 관련 도구와 웹 검색만 제한적으로 허용하도록 설계됐다. 결과적으로 동일한 프롬프트에서 비용이 획기적으로 절감됐다. 이는 범용 모델보다 특정 작업에 최적화된 버티컬 앱이 도구 사용 제어에 효과적임을 시사한다.

언급된 도구

Claude중립

LLM

Excel추천

데이터 분석 도구