토큰 사용량을 85% 절감하는 프로그래밍 방식 도구 호출 구현체 공유

작성자가 직접 구현한 오픈소스 프로젝트에 대해 긍정적인 반응이며, 특히 토큰 절감 효과와 기존 OpenAI API와의 호환성을 제공하는 프록시 구조에 관심을 보이고 있다.

• 토큰 비용이 부담되는 대규모 RAG나 에이전트 시스템에 Programmatic Tool Calling 도입을 검토하라.
• 모델이 생성한 코드를 실행할 때는 반드시 Deno Isolate와 같은 격리된 샌드박스 환경을 사용하라.
• 에이전트의 다음 단계 추론 정확도를 높이려면 도구의 반환 값에 대한 출력 스키마를 명시적으로 제공하라.

프로그래밍 방식 도구 호출(Programmatic Tool Calling)

— 모델이 도구 실행 결과를 컨텍스트에 직접 채우는 대신, 도구를 호출하는 코드를 직접 작성하여 실행하는 방식이다. Anthropic 연구에 따르면 이 방식은 불필요한 컨텍스트 주입을 줄여 토큰 사용량을 최대 85%까지 절감할 수 있다.

모델 컨텍스트 프로토콜(Model Context Protocol (MCP))

— AI 모델이 외부 데이터 소스나 도구와 상호작용하기 위한 표준화된 프로토콜이다. 서로 다른 AI 앱과 데이터 소스 간의 연결을 단순화하며, 본문에서는 도구의 출력 스키마 정의가 부족하다는 한계점이 지적되었다.

데노 아이솔레이트(Deno Isolate)

— Deno 런타임 내에서 코드를 실행하기 위한 격리된 샌드박스 환경이다. 보안을 위해 외부 코드나 모델이 생성한 코드를 안전하게 실행할 수 있는 독립된 실행 공간을 제공한다.

출력 스키마(Output Schema)

— 도구가 실행된 후 반환하는 데이터의 구조를 정의한 명세이다. 모델이 도구 호출 결과로 어떤 데이터 타입과 필드가 돌아올지 미리 알게 함으로써 후속 추론의 정확도를 높인다.