latency-and-token-cost

LLM 호출은 응답 지연과 사용한 토큰수에 따른 비용을 발생시키며, 호출 횟수가 늘어나면 시스템 전체 비용과 사용자 체감 응답 속도가 악화된다. 게시글은 도구 호출마다 LLM을 호출하는 설계가 지연과 토큰 소비를 늘렸다고 보고한다. 도구별 승인 설정으로 LLM 호출을 줄이면 비용과 지연을 절감할 수 있다.