터미널 기반 에이전트와 웹/도구 기반 에이전트의 성능 비교 연구

실용적 조언

API가 제공되는 환경에서는 복잡한 도구 추상화 대신 에이전트에게 직접적인 쉘 접근 권한을 부여하는 것이 효율적이다.
에이전트가 생성한 스크립트를 저장하고 재사용할 수 있는 '기술 저장소'를 구축하면 반복적인 탐색 비용을 줄일 수 있다.

섹션별 상세

터미널 기반 에이전트의 성능을 ServiceNow, GitLab 등 기업용 시스템 태스크에서 비교했다. 터미널 에이전트는 쉘 액세스와 파일 시스템, curl을 통한 API 호출만으로 작동하며 별도의 도구 추상화 레이어를 사용하지 않는다. 실험 결과 터미널 에이전트가 다른 방식과 대등하거나 오히려 높은 성공률을 기록했다. 이는 복잡한 추상화 없이도 일반적인 코딩 에이전트가 필요한 동작을 스스로 구성할 수 있음을 시사한다.

터미널 기반 에이전트는 웹이나 도구 기반 방식보다 비용 효율적인 것으로 나타났다. 이는 태스크 완료를 위해 필요한 상호작용 궤적이 더 짧기 때문에 발생하는 결과이다. 불필요한 UI 탐색이나 복잡한 도구 호출 규약을 거치지 않고 직접적인 명령어를 실행함으로써 토큰 소모를 줄였다. 실무적으로 대규모 워크로드에서 운영 비용을 크게 절감할 수 있는 근거가 된다.

에이전트가 간단한 스크립트나 API에 대한 노트를 작성하고 재사용하도록 허용했을 때 탐색 시간이 단축됐다. 한 번 생성한 '기술'을 저장해 두었다가 유사한 태스크에 다시 적용하는 방식이다. 이를 통해 반복적인 API 탐색 과정을 생략하고 실행 속도를 높일 수 있었다. 이는 에이전트의 메모리 활용과 지속적인 학습 능력이 성능 최적화에 미치는 영향을 보여준다.

API가 풍부한 환경에서는 터미널 에이전트가 강력하지만 UI를 통해서만 접근 가능한 워크플로에서는 한계가 명확하다. 웹 기반 에이전트나 하이브리드 접근 방식은 API가 없거나 부족한 상황에서 여전히 유효한 대안이다. 따라서 환경의 특성에 따라 도구 추상화의 필요성을 결정해야 한다는 결론에 도달했다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구 및 데이터 소스와 상호작용하기 위한 표준화된 프로토콜이다. 에이전트가 정해진 규격에 따라 기능을 호출하도록 돕는 추상화 레이어를 제공한다.
상호작용 궤적(Interaction Trajectory): — 에이전트가 특정 목표를 달성하기 위해 수행한 일련의 행동 순서와 단계를 의미한다. 궤적이 짧을수록 적은 단계로 문제를 해결했음을 뜻하며, 이는 곧 추론 비용 절감으로 이어진다.
API 검증 기반 평가(API-verified Evaluation): — 에이전트의 작업 성공 여부를 단순 텍스트 응답이 아닌, 실제 API 호출을 통한 시스템 상태 변화로 확인하는 방식이다. 평가의 객관성과 기술적 신뢰도를 높이는 핵심 방법론이다.

언급된 도구

MCP중립

도구 추상화 시스템

ServiceNow중립

기업용 서비스 관리 플랫폼

GitLab중립

코드 호스팅 및 협업 플랫폼