MCP 호출과 셸 배치의 비용 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

글쓴이는 같은 작업·장비·시간 조건에서 자신의 MCP 기반 harness와 일반 모델을 비교한 결과, 동일한 패치와 숨은 테스트 통과 결과를 유지하면서도 비용이 2.2~3.0배 높았다고 기록했습니다. 모델은 MCP 조회를 배치하지 못했지만, 같은 조회를 shell 명령으로 작성하면 `&&`로 한 번에 연결했습니다. MCP의 stateless protocol은 매 턴 전체 대화를 다시 보내고 컨텍스트가 커질수록 prefill을 반복하므로, 토큰을 추가하는 비용보다 턴 증가 비용이 커집니다. 글쓴이는 직접 작성한 handshake가 shell보다 MCP를 먼저 선택하도록 유도해 13개 셀에서 자체 CLI 호출을 0회로 만든 점을 원인으로 지목하며, shell이 없는 클라이언트를 제외하고 MCP 기반 addon의 토큰 절감 주장은 실측으로 검증해야 한다고 말합니다.

실용적 조언

동일한 작업과 모델, 장비, 시간 조건을 고정한 뒤 MCP 경로와 `&&`로 묶은 shell 경로를 각각 실행하고 총 토큰, 호출 턴 수, prefill 시간, 테스트 결과를 기록하십시오. 같은 답과 테스트 통과 여부를 유지하는지 함께 확인해야 비용 차이를 성능 차이와 구분할 수 있습니다.
MCP handshake가 도구 사용을 shell 검색보다 앞세우는지 확인하십시오. shell 접근이 가능한 환경이라면 해당 지시문이 모델의 선택 순서를 고정해 CLI를 전혀 사용하지 않게 만들 수 있으므로, 13개 셀과 같은 반복 단위에서 실제 호출 경로를 transcript로 검증하는 편이 안전합니다.
MCP 기반 addon이 토큰 절감을 주장하면 숫자와 측정 조건을 요청하십시오. graphing이나 diagram addon도 예외로 두지 말고, 같은 답을 내는 batched shell 호출과 총 토큰을 비교한 사례가 있는지 확인해야 합니다.

섹션별 상세

글쓴이는 같은 작업, 같은 장비, 같은 시간대에 자신의 harness와 일반 모델을 벤치마크했고, 동일한 패치를 만드는 동안 자신의 방식이 2.2~3.0배 더 비쌌다고 기록했습니다. 13개 셀에서 숨은 테스트 통과 결과는 모두 같았기 때문에, 추가 비용이 결과 품질 향상으로 이어지지 않았다는 비교가 핵심입니다. 개인 경험에 머물지 않고 비교 조건과 반복 결과를 함께 제시해 MCP 기반 실행 경로의 비용을 따져볼 기준을 제공합니다.

글쓴이가 테스트한 모델은 MCP 조회를 어떤 설정에서도 배치하지 못했지만, 같은 조회를 shell 명령으로 쓰면 하나의 명령 안에서 `&&`로 연결했습니다. MCP에서는 여러 도구 호출이 여러 턴으로 나뉘고, stateless protocol이 매 턴 전체 대화를 다시 보내므로 후속 호출마다 입력 컨텍스트가 커집니다. 이미 진행 중인 호출에 토큰을 더하는 비용은 선형이지만, 턴이 늘어나면 이전 대화와 새 추가분을 반복 처리하는 비용이 누적되어 로컬 환경에서는 prefill 시간으로 체감됩니다.

가장 큰 원인은 글쓴이가 직접 작성한 MCP handshake 문구였습니다. 이 메시지는 모델에게 shell 검색보다 도구를 먼저 사용하라고 지시했고, 그 결과 바이너리가 계속 PATH에 있었는데도 13개 셀에서 자체 CLI 호출이 한 번도 발생하지 않았습니다. 즉 어떤 기능을 사용해야 하는지에 대한 조언은 맞았지만, 더 비싼 MCP 표면을 우선하도록 순서를 고정하면서 셸 배치라는 효율적인 경로를 차단했습니다.

글쓴이는 shell을 사용할 수 없는 클라이언트라면 MCP가 적절한 선택일 수 있다는 예외를 인정합니다. 문제의 대상은 모든 클라이언트가 아니라 shell 접근이 가능한 환경에서 MCP를 쓰면서 토큰 절감을 주장하는 addon입니다. 따라서 graphing이나 diagram addon을 포함해 MCP를 사용하는 도구는 절감 효과를 홍보하기 전에 동일한 답을 얻는 batched shell 호출과 총 토큰을 비교해야 한다는 판단입니다.

용어 해설

MCP: — 모델이 외부 도구를 호출하도록 연결하는 프로토콜입니다. 이 글에서는 클라이언트가 먼저 읽는 handshake 메시지가 도구 사용 순서를 유도하고, 여러 조회를 개별 호출로 처리하게 만들어 셸 명령보다 턴과 토큰 비용을 키우는 경로로 작동합니다.
상태 비저장 프로토콜(Stateless Protocol): — 이전 대화 상태를 서버가 유지하지 않아 매 턴 전체 대화 내용을 다시 보내는 통신 방식입니다. 컨텍스트가 커질수록 후속 턴마다 재전송되는 입력이 늘어나며, 로컬 실행에서는 금액보다 prefill 시간 증가로 비용이 드러납니다.
Prefill: — 모델이 새 응답을 생성하기 전에 입력 컨텍스트 전체를 처리하는 단계입니다. 상태 비저장 방식에서는 대화가 이어질 때마다 커진 컨텍스트를 다시 처리하므로, 호출 턴이 늘어날수록 총 계산량과 지연 시간이 커집니다.
숨은 테스트(Hidden Tests): — 패치의 정답 여부를 외부에 공개하지 않은 테스트 집합으로 검증하는 방식입니다. 글쓴이는 같은 작업과 장비에서 자신의 harness와 일반 모델을 비교하면서 13개 셀 모두에서 숨은 테스트 통과 여부가 같았다고 기록해 비용 차이와 결과 차이를 분리했습니다.

언급된 도구

MCP중립

클라이언트가 모델에 외부 도구를 연결하고 조회를 실행하는 통신 경로입니다. 글에서는 handshake 지시와 비배치 호출 때문에 shell 경로보다 많은 턴과 토큰을 유발하는지 비교 대상이 됩니다.

언급된 리소스

문서One Call, One Turn