에이전트 설계의 패러다임 변화: 도구 호출에서 코드 모드로

커뮤니티 반응

작성자가 제시한 토큰 절감 수치와 오케스트레이션 효율성에 대해 긍정적인 반응이며, 실제 구현 시의 보안 및 샌드박스 환경에 대한 추가 논의가 이루어지고 있다.

주요 논점

01찬성다수

대규모 API 환경에서 도구 호출은 확장성이 없으며 코드 모드가 유일한 실질적 대안이다.

합의점 vs 논쟁점

합의점

도구 호출 방식은 컨텍스트 윈도우를 과도하게 소모한다.
LLM은 도구 호출보다 코드 작성에 더 최적화되어 있다.

논쟁점

코드 실행 환경(샌드박스) 구축 및 보안 유지에 따른 운영 부담.

실용적 조언

도구 목록이 너무 길어질 경우 모든 API를 도구로 등록하지 말고, API 문서를 검색하고 코드를 실행할 수 있는 환경을 먼저 구축하라.
반복적인 필터링이나 데이터 가공이 필요한 작업은 에이전트에게 코드로 작성하도록 유도하여 추론 횟수를 줄여라.

섹션별 상세

Cloudflare의 전체 API를 MCP 도구로 노출할 경우 약 117만 토큰이 소모되어 컨텍스트 윈도우의 대부분을 점유하는 문제가 발생했다. 이를 해결하기 위해 search()와 execute()라는 두 가지 핵심 도구만 노출하고 에이전트가 직접 코드를 작성하게 한 결과, 토큰 비용이 1,069개로 줄어들어 99.9%의 절감 효과를 거두었다.

기존의 도구 호출 방식은 매 단계마다 모델이 다음 도구를 선택하고 결과를 확인하는 추론 라운드트립이 필요하여 오케스트레이션 비용이 높다. 반면 코드 모드에서는 모델이 필터링, 페이지네이션, 재시도 로직을 포함한 프로그램을 한 번에 작성하므로 실행 효율성이 극대화되고 최종 결과값만 모델에게 전달된다.

LLM은 학습 과정에서 수많은 코드 프로젝트를 학습했기 때문에 도구 호출 형식보다 코드 작성에 더 능숙하다는 점이 코드 모드의 성공 요인으로 꼽혔다. Kenton Varda는 도구 호출을 통해 작업을 시키는 것을 '셰익스피어에게 한 달간 중국어를 가르치고 연극을 쓰게 하는 것'에 비유하며 코드 방식의 자연스러움을 강조했다.

코드 모드로의 전환은 효율적이지만 샌드박싱 환경 구축, 디버깅의 복잡성, 비밀번호 및 보안 키 관리와 같은 추가적인 인프라 비용과 고려사항이 수반된다. 따라서 모든 경우에 코드 모드를 적용하기보다는 도구의 개수가 컨텍스트 한계를 넘어서거나 복잡한 로직 처리가 필요한 시점에 전환하는 것이 권장된다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구나 데이터 소스에 접근할 수 있도록 하는 표준화된 프로토콜이다. 에이전트가 API나 데이터베이스를 직접 호출할 수 있게 하여 기능 확장성을 높이지만, 도구가 많아질수록 컨텍스트 윈도우를 과도하게 점유하는 문제가 발생할 수 있다.
도구 호출(Tool Calling): — LLM이 특정 작업을 수행하기 위해 사전에 정의된 함수나 API를 선택하고 실행을 요청하는 방식이다. 모델이 각 단계마다 어떤 도구를 쓸지 결정해야 하므로 복잡한 작업에서는 여러 번의 추론 라운드트립이 발생하여 지연 시간과 비용이 증가한다.
코드 모드(Code Mode): — 에이전트가 개별 도구를 하나씩 호출하는 대신, 전체 로직을 수행하는 코드를 한 번에 작성하여 실행하는 방식이다. 모델이 직접 오케스트레이션을 수행하는 프로그램을 작성하므로 토큰 소모를 획기적으로 줄이고 복잡한 제어 흐름을 효율적으로 처리할 수 있다.

언급된 도구

MCP중립

에이전트와 외부 도구 간의 연결 프로토콜

언급된 리소스

문서Sarthak Arora의 코드 모드 패턴 분석 (X)