에이전트 설계의 패러다임 변화: 도구 호출에서 코드 모드로

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트가 수많은 도구를 개별 호출하는 대신 코드를 직접 작성해 실행하게 함으로써 토큰 사용량과 추론 횟수를 획기적으로 줄이는 '코드 모드' 패턴이 부상하고 있다.

배경

AI Engineer Europe 및 Miami 컨퍼런스에서 공유된 사례를 바탕으로, 대규모 API를 다루는 에이전트가 직면한 토큰 한계와 이를 해결하기 위한 '코드 모드' 패턴을 분석한 글이다.

의미 / 영향

에이전트 아키텍처가 단순한 '함수 선택기'에서 '자율적 프로그래머'로 진화하고 있음을 보여준다. 이는 향후 에이전트 개발에서 런타임 보안과 코드 실행 환경의 중요성이 더욱 커질 것임을 시사한다.

커뮤니티 반응

작성자가 제시한 토큰 절감 수치와 오케스트레이션 효율성에 대해 긍정적인 반응이며, 실제 구현 시의 보안 및 샌드박스 환경에 대한 추가 논의가 이루어지고 있다.

주요 논점

01찬성다수

대규모 API 환경에서 도구 호출은 확장성이 없으며 코드 모드가 유일한 실질적 대안이다.

합의점 vs 논쟁점

합의점

도구 호출 방식은 컨텍스트 윈도우를 과도하게 소모한다.
LLM은 도구 호출보다 코드 작성에 더 최적화되어 있다.

논쟁점

코드 실행 환경(샌드박스) 구축 및 보안 유지에 따른 운영 부담.

실용적 조언

도구 목록이 너무 길어질 경우 모든 API를 도구로 등록하지 말고, API 문서를 검색하고 코드를 실행할 수 있는 환경을 먼저 구축하라.
반복적인 필터링이나 데이터 가공이 필요한 작업은 에이전트에게 코드로 작성하도록 유도하여 추론 횟수를 줄여라.

섹션별 상세

Cloudflare의 전체 API를 MCP 도구로 노출할 경우 약 117만 토큰이 소모되어 컨텍스트 윈도우의 대부분을 점유하는 문제가 발생했다. 이를 해결하기 위해 search()와 execute()라는 두 가지 핵심 도구만 노출하고 에이전트가 직접 코드를 작성하게 한 결과, 토큰 비용이 1,069개로 줄어들어 99.9%의 절감 효과를 거두었다.

기존의 도구 호출 방식은 매 단계마다 모델이 다음 도구를 선택하고 결과를 확인하는 추론 라운드트립이 필요하여 오케스트레이션 비용이 높다. 반면 코드 모드에서는 모델이 필터링, 페이지네이션, 재시도 로직을 포함한 프로그램을 한 번에 작성하므로 실행 효율성이 극대화되고 최종 결과값만 모델에게 전달된다.

LLM은 학습 과정에서 수많은 코드 프로젝트를 학습했기 때문에 도구 호출 형식보다 코드 작성에 더 능숙하다는 점이 코드 모드의 성공 요인으로 꼽혔다. Kenton Varda는 도구 호출을 통해 작업을 시키는 것을 '셰익스피어에게 한 달간 중국어를 가르치고 연극을 쓰게 하는 것'에 비유하며 코드 방식의 자연스러움을 강조했다.

코드 모드로의 전환은 효율적이지만 샌드박싱 환경 구축, 디버깅의 복잡성, 비밀번호 및 보안 키 관리와 같은 추가적인 인프라 비용과 고려사항이 수반된다. 따라서 모든 경우에 코드 모드를 적용하기보다는 도구의 개수가 컨텍스트 한계를 넘어서거나 복잡한 로직 처리가 필요한 시점에 전환하는 것이 권장된다.

실무 Takeaway

수천 개의 API 도구를 개별적으로 정의하는 대신 검색과 실행 기능만 제공하여 에이전트가 코드로 오케스트레이션하게 하면 토큰 소모를 99% 이상 줄일 수 있다.
도구 호출 방식의 잦은 추론 라운드트립을 코드 실행으로 대체함으로써 지연 시간을 단축하고 복잡한 데이터 처리 로직을 효율적으로 수행할 수 있다.
LLM의 코드 생성 능력을 활용하는 것이 생소한 도구 호출 규격을 따르게 하는 것보다 모델의 성능을 더 잘 끌어낼 수 있는 전략이다.

언급된 도구

MCP중립

에이전트와 외부 도구 간의 연결 프로토콜

언급된 리소스

문서Sarthak Arora의 코드 모드 패턴 분석 (X)