에이전트 설계의 패러다임 변화: 도구 호출에서 코드 모드로

작성자가 제시한 토큰 절감 수치와 오케스트레이션 효율성에 대해 긍정적인 반응이며, 실제 구현 시의 보안 및 샌드박스 환경에 대한 추가 논의가 이루어지고 있다.

• 도구 목록이 너무 길어질 경우 모든 API를 도구로 등록하지 말고, API 문서를 검색하고 코드를 실행할 수 있는 환경을 먼저 구축하라.
• 반복적인 필터링이나 데이터 가공이 필요한 작업은 에이전트에게 코드로 작성하도록 유도하여 추론 횟수를 줄여라.

• 수천 개의 API 도구를 개별적으로 정의하는 대신 검색과 실행 기능만 제공하여 에이전트가 코드로 오케스트레이션하게 하면 토큰 소모를 99% 이상 줄일 수 있다.
• 도구 호출 방식의 잦은 추론 라운드트립을 코드 실행으로 대체함으로써 지연 시간을 단축하고 복잡한 데이터 처리 로직을 효율적으로 수행할 수 있다.
• LLM의 코드 생성 능력을 활용하는 것이 생소한 도구 호출 규격을 따르게 하는 것보다 모델의 성능을 더 잘 끌어낼 수 있는 전략이다.