챕터별 상세
기존 도구 호출 방식의 한계와 비효율성
기존의 도구 호출은 모델이 JSON을 출력하고 서버가 이를 실행한 뒤 결과를 다시 모델에 전달하는 핑퐁 구조이다. 이 과정에서 불필요한 메타데이터가 컨텍스트 윈도우를 가득 채우고 토큰 비용을 급증시킨다. 특히 여러 도구를 순차적으로 사용할 때 모델이 이전 단계의 방대한 데이터를 모두 기억해야 하므로 비결정적인 동작이 발생할 위험이 크다.
기존 방식은 모델과 서버 간의 잦은 통신(Round-trip)으로 인해 지연 시간과 비용이 발생하는 구조적 한계가 있었다.
Programmatic Tool Calling (PTC)를 통한 워크플로우 최적화
모델이 한 번에 하나의 도구만 호출하는 대신 여러 도구를 제어하는 코드를 직접 작성하여 실행하는 방식이다. 이를 통해 중간 단계의 방대한 데이터를 모델의 컨텍스트에 노출하지 않고도 내부 로직으로 처리할 수 있다. Anthropic의 실험 결과에 따르면 이 방식을 통해 모델 호출 횟수가 줄어들어 토큰 소모량이 37%에서 최대 50%까지 감소했다.
PTC는 모델이 도구를 개별적으로 호출하는 것이 아니라 도구들을 조합한 실행 스크립트를 생성하도록 유도하는 기술이다.
웹 검색 효율을 높이는 동적 필터링 기술
webFetch 도구 사용 시 전체 HTML 데이터를 모델에 전달하는 대신 필요한 정보만 추출하는 필터링 레이어를 추가했다. 불필요한 광고나 네비게이션 태그를 제거하고 핵심 텍스트만 컨텍스트에 주입하는 방식이다. 이 기능만으로도 평균 24%의 토큰 절감 효과를 거두었으며 모델이 핵심 정보에만 집중할 수 있게 했다.
HTML 데이터의 노이즈를 사전에 제거하여 LLM의 정보 처리 부담을 줄이는 전처리 기법이다.
대규모 도구 관리를 위한 Tool Search 기능
수백 개의 도구 스키마를 한꺼번에 컨텍스트에 넣는 대신 필요한 도구만 동적으로 찾아 사용하는 기능이다. defer_loading 설정을 통해 평소에는 도구 정의를 숨겨두었다가 모델이 필요하다고 판단할 때만 로드한다. 이 방식은 컨텍스트 윈도우의 가용 공간을 기존 61%에서 95%까지 확보하여 더 긴 대화가 가능하게 한다.
모든 도구 정의를 미리 로드하지 않고 검색 도구를 통해 필요한 시점에만 가져오는 온디맨드 로딩 방식이다.
복잡한 파라미터 처리를 위한 Tool Use Example
중첩된 구조나 선택적 파라미터가 많은 복잡한 도구의 경우 스키마만으로는 모델이 정확히 사용하기 어렵다. input_examples 필드를 통해 실제 도구 호출 예시를 제공함으로써 모델의 정확도를 높인다. Anthropic의 내부 테스트 결과 복잡한 파라미터 처리 정확도가 72%에서 90%로 크게 향상되었다.
퓨샷 프롬프팅과 유사하게 도구 호출의 올바른 예시를 데이터 구조 내에 포함시키는 방법이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 22.수집 2026. 02. 22.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
