로컬 FastAPI 프록시로 자율 코딩 에이전트의 토큰 루프와 비용 폭주를 차단한 경험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대형 TypeScript 작업공간에서 자율 코딩 에이전트가 반복 입력에 갇혀 수십만 토큰과 큰 비용을 발생시키는 문제가 있어 작성자는 FastAPI+Uvicorn 기반 로컬 프록시를 도입했다. 프록시는 들어오는 프롬프트를 암호학적 해시로 식별해 동일 페이로드가 짧은 시간 내에 반복되면 회로 차단을 수행하고 IDE 클라이언트가 멈추지 않도록 모의 Server-Sent Events 형식의 200 응답을 반환해 우아하게 중단시켰다. 추가로 OpenRouter의 실시간 가격을 불러와 차단 시점의 절약액과 시간당 잠재 손실을 계산해 금전적 임팩트를 수치로 제시했으며, 이 구조는 루프 속도를 관측하지 못하는 기존 전환 도구의 한계를 보완하는 실용적 방안으로 작동했다. 다만 해시 임계값 설정과 스트림 모의 반환이 멀티에이전트 상호작용에서 갖는 부작용은 추가 검증이 필요한 한계로 남아 있다.

실용적 조언

요청 페이로드 수준에서 암호학적 해시를 만들어 동일 입력의 재전송을 판별하면 파일 간 정상 이동과 반복 루프를 구분할 수 있으므로 프록시에 해시 기반 회로 차단을 도입할 것을 권장한다. 해시 정책은 동일 해시 반복 횟수와 시간 윈도우를 동시에 고려해 설정해야 정상 작업 방해를 최소화할 수 있다.
IDE가 스트림 연결을 끊었을 때 UI가 멈추는 문제를 피하려면 429/500 오류 대신 모의 SSE 형식의 200 응답을 반환해 에이전트가 우아하게 중단하도록 유도하면 워크스페이스 안정성을 유지하면서 루프를 차단할 수 있다. 이 방법은 스트림 무결성 표준을 준수하는 범위에서 구현해야 클라이언트 측 파싱 문제를 피할 수 있다.
실시간 가격 API를 주기적으로 가져와 호출비용을 계산하면 루프 차단 시점에서 절약된 금액을 수치로 제시해 빠른 운영 결정을 내릴 수 있으므로 OpenRouter 같은 가격 엔드포인트와 연동해 비용 투영 로직을 구현하는 것이 바람직하다. 비용 투영은 API 요율과 호출 패턴을 곱해 시간 단위의 잠재 손실을 계산하는 단순 모델로도 충분한 인사이트를 제공한다.

섹션별 상세

대규모 TypeScript 작업공간에서 자율 코딩 에이전트가 1천 줄 이상 파일을 반복 처리할 때 단일 루프가 수십만 토큰을 소비해 쿼터와 비용을 급격히 소진하는 문제가 발생했다. 에이전트는 사소한 컴파일 경고를 자가 수리하려다 반복 루프에 갇혔고 기본 제공 프로바이더 전환 도구는 요청 빈도의 뉘앙스 즉 '루프 속도'를 관측하지 못해 문제를 탐지하지 못했다. 이로 인해 빠르게 예산이 소진되는 사례가 재현되었고 이를 자동으로 막는 방안이 필요했다.

프록시는 들어오는 원시 프롬프트 페이로드를 암호학적 해시로 변환해 동일 입력의 재요청을 판별하는 방식으로 작동했다. 파일을 이동해가며 읽는 정상 작업은 페이로드가 달라 해시도 바뀌므로 호출이 그대로 통과되며, 동일 해시가 짧은 시간 내 3회 이상 반복되면 회로 차단기가 작동해 모델 API 호출을 차단했다. 이러한 접근은 토큰 기반 임계값보다 입력 재현성에 기반하므로 정상적 다중 파일 처리와 무한 루프를 구분할 수 있다.

회로 차단 시 단순히 연결을 끊거나 429/500 오류를 반환하면 IDE 클라이언트가 무한 로딩이나 UI 프리징 상태가 되기 때문에 프록시는 스트림을 가로채 모의 정상 200 응답 형태의 SSE를 에디터로 반환했다. 반환된 스트림은 경고 메시지와 대기 권고를 포함해 에이전트가 우아하게 실행을 중지하도록 유도했고 이로 인해 워크스페이스가 충돌 없이 유지되었다는 작동 사례가 보고되었다. 이 기법은 사용자 경험을 해치지 않으면서 로컬에서 즉시 루프를 멈추는 안전망 역할을 했다.

프록시는 시작 시 OpenRouter의 실시간 가격 데이터를 가져와 루프를 가로챌 때 즉시 '재정적 폭발 반경'을 계산했다. 중단된 테스트 루프의 사례에서 프록시는 한 시간 동안 차단되지 않았다면 발생했을 잠재적 비용을 약 55달러로 산출해 금전적 손실을 수치로 제시했다. 이 비용 투영은 단순한 호출 횟수 기반 알림보다 사용자가 즉각적인 피해 규모를 이해하고 키 관리·스로틀 정책을 조정하는 데 활용될 수 있었다.

구현 스택은 FastAPI와 Uvicorn으로 로컬 파이썬 프록시를 띄우고 Claude, Gemini, OpenAI 계열 모델과 연동하는 구조였으며 기존의 LiteLLM이나 OpenRouter 같은 프로바이더 전환 툴이 루프 속도를 관측하지 못하는 한계를 보완하는 역할을 했다. 작성자는 프록시 스크립트 공유 의사를 밝혔고 이 접근은 대규모 작업공간에서 에이전트를 무감독으로 실행할 때 발생하는 비용·자원 리스크를 현저히 낮추는 실용적 방안으로 제시되었다. 다만 실제 성능·지연 오버헤드와 복잡한 멀티에이전트 상호작용에서의 부작용은 추가 검증이 필요한 한계로 남아 있다.

용어 해설

서버-발송 이벤트(Server-Sent Events): — 클라이언트가 서버로부터 단방향 스트리밍 업데이트를 수신할 수 있게 하는 HTTP 기반 프로토콜로서, 에디터와 모델 사이에서 실시간 응답 토큰을 순차적으로 전달하거나 프록시가 모의 응답을 삽입할 때 사용되며 연결 유지와 스트림 무결성 관리가 핵심이다.
콘텐츠 해싱(Content Hashing): — 요청 페이로드의 바이트 또는 텍스트를 암호학적 해시로 변환해 동일한 입력의 재전송을 판별하는 기법으로서, 다수의 파일 읽기처럼 정당한 빈번한 요청과 무한 루프의 반복 요청을 구분해 회로 차단 조건을 결정하는 데 사용된다.
서킷 브레이커 패턴(Circuit Breaker Pattern): — 주어진 조건에서 외부 호출을 차단해 장애 전파를 막는 패턴으로서, 동일 해시가 일정 시간 내 반복될 때 외부 모델 호출을 중지하고 대체 응답을 반환해 로컬 환경의 자원 고갈과 비용 폭주를 방지하는 용도로 적용된다.
비용 투사(Price Projection): — 실시간 가격 API와 현재 호출률을 결합해 단시간 동안 발생할 잠재적 요금 지출을 계산하는 방법으로서, 루프 중단 시점에서 멈춘 손실을 즉시 산출하고 장시간 미차단 시 예상 손실을 시간 단위로 추정하는 데 사용된다.

언급된 도구

FastAPI추천

로컬 프록시 서버 구현

Uvicorn추천

ASGI 서버로 FastAPI 애플리케이션 실행

OpenRouter중립

실시간 가격 데이터 조회 및 일부 모델 라우팅

LiteLLM중립

프로바이더 전환 도구로 언급됨

Claude / Gemini / OpenAI GPT 모델들중립

프록시가 연동해 보호하는 대상 모델 계열