token-reduction-tools
토큰 절감 도구
LLM 호출에서 전송하거나 출력하는 토큰 수를 줄이는 도구들을 가리킵니다. 입력 컨텍스트를 요약하거나 파일 인덱스를 생성해서 에이전트가 불필요한 텍스트를 출력하지 않게 하고, 호출되는 툴을 통해 필요한 정보만 제공하는 방식으로 동작합니다. 모델 호출 비용과 응답 지연을 낮추려는 목적에서 사용되며, 세션 단위의 절감치와 단회 호출 절감치가 서로 다르게 나타날 수 있습니다.
토큰 절감 도구
LLM 호출에서 전송하거나 출력하는 토큰 수를 줄이는 도구들을 가리킵니다. 입력 컨텍스트를 요약하거나 파일 인덱스를 생성해서 에이전트가 불필요한 텍스트를 출력하지 않게 하고, 호출되는 툴을 통해 필요한 정보만 제공하는 방식으로 동작합니다. 모델 호출 비용과 응답 지연을 낮추려는 목적에서 사용되며, 세션 단위의 절감치와 단회 호출 절감치가 서로 다르게 나타날 수 있습니다.
