토큰 사용량을 85% 절감하는 프로그래밍 방식 도구 호출 구현체 공유

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Anthropic의 프로그래밍 방식 도구 호출 기법을 활용하여 토큰 비용을 절감하고 MCP 도구의 출력 스키마를 지원하는 오픈소스 프로젝트를 공유했다.

배경

Anthropic의 연구에서 제안된 프로그래밍 방식 도구 호출(Programmatic Tool Calling)을 실제 애플리케이션에 쉽게 통합하기 위해 Deno 샌드박스와 OpenAI API 프록시를 결합한 라이브러리를 개발하여 공개했다.

의미 / 영향

이 프로젝트는 Anthropic의 최신 연구 성과를 실무 개발자가 즉시 적용할 수 있는 형태로 구현했다는 점에서 의의가 있다. 특히 MCP의 한계를 보완하는 출력 스키마 도입과 기존 API 호환성 유지는 에이전트 개발의 비용 효율성과 예측 가능성을 동시에 높이는 실무적 표준이 될 수 있다.

커뮤니티 반응

작성자가 직접 구현한 오픈소스 프로젝트에 대해 긍정적인 반응이며, 특히 토큰 절감 효과와 기존 OpenAI API와의 호환성을 제공하는 프록시 구조에 관심을 보이고 있다.

주요 논점

01찬성다수

토큰 비용 절감과 보안을 위해 Deno Isolate와 프록시를 사용한 접근 방식이 매우 실용적이다.

합의점 vs 논쟁점

합의점

Anthropic이 제시한 프로그래밍 방식 도구 호출이 토큰 효율성 측면에서 큰 이점이 있다.
MCP 표준에서 도구의 출력 데이터 구조를 정의하는 기능이 보완되어야 한다.

실용적 조언

토큰 비용이 부담되는 대규모 RAG나 에이전트 시스템에 Programmatic Tool Calling 도입을 검토하라.
모델이 생성한 코드를 실행할 때는 반드시 Deno Isolate와 같은 격리된 샌드박스 환경을 사용하라.
에이전트의 다음 단계 추론 정확도를 높이려면 도구의 반환 값에 대한 출력 스키마를 명시적으로 제공하라.

언급된 도구

Deno추천

안전한 코드 실행을 위한 격리된 샌드박스 환경 제공

MCP중립

모델과 도구 간의 상호작용 프로토콜

LangChain추천

에이전트 구현을 위한 예시 라이브러리로 언급

섹션별 상세

Anthropic의 연구 결과를 바탕으로 모델이 직접 코드를 작성해 도구를 호출하게 함으로써 토큰 효율성을 극대화했다. 모델이 도구 실행 결과를 컨텍스트 윈도우에 모두 넣는 대신 필요한 코드만 실행하게 하여 토큰 사용량을 최대 85%까지 줄이는 구조를 채택했다. Deno Isolate를 사용하여 모델이 생성한 코드를 안전하게 격리된 환경에서 실행하며, 도구 호출 시 앱으로 다시 브릿지하는 메커니즘을 구현했다.

기존 OpenAI SDK 기반 클라이언트를 크게 수정하지 않고도 이 기능을 사용할 수 있도록 OpenAI 응답 API 프록시를 추가했다. 사용자는 클라이언트의 엔드포인트를 해당 프록시로 변경하기만 하면 기존 도구들을 코드 실행기(Code Executor) 형태로 래핑하여 사용할 수 있다. 샌드박스 내에서 도구 함수가 호출되면 이를 표준 도구 호출 형식으로 변환하여 클라이언트에 전달하는 방식으로 호환성을 확보했다.

기존 MCP(Model Context Protocol) 서버들이 도구의 입력은 정의하지만 출력 데이터 구조는 명시하지 않는 문제를 해결하기 위해 출력 스키마 지원 기능을 도입했다. Claude를 활용해 MCP 도구의 출력 스키마를 자동으로 생성하는 프롬프트를 포함하여, 에이전트가 `await search()`와 같은 호출 결과에 어떤 데이터가 담길지 미리 인지하도록 설계했다. 이를 통해 에이전트가 도구 반환 데이터를 더 정확하고 효율적으로 활용할 수 있는 기반을 마련했다.

실무 Takeaway

Programmatic Tool Calling 기법을 적용하면 모델이 직접 코드를 실행하여 도구를 호출하므로 컨텍스트 토큰 소모를 최대 85%까지 절감할 수 있다.
Deno Isolate 기반의 샌드박스를 활용하면 모델이 생성한 도구 호출 코드를 안전하게 격리하여 실행하면서도 기존 앱의 도구들과 연동이 가능하다.
MCP 도구에 출력 스키마(Output Schema)를 정의하면 에이전트가 실행 결과 데이터의 구조를 미리 파악할 수 있어 추론의 안정성이 향상된다.

언급된 리소스

GitHubopen-ptc GitHub Repository