이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작성자는 API 청구서에서 24시간 미만에 입력 토큰 1,010만이 청구된 이상 사례를 관찰했고 원인은 모델이 아니라 스테이트리스 래퍼가 반복 루프에서 KV cache를 삭제하는 동작이라고 판단했다. 문제는 50k 토큰 규모의 시스템 프롬프트를 가진 에이전트가 50~200회 반복될 때 매회 프롬프트를 재전달하며 예시로 100회 루프가 5,000,000 입력 토큰을 낭비하는 식으로 비용이 폭증하는 점이다. 해결책으로 불변 코어(Zone A)를 40k+ 토큰으로 VRAM에 고정하고 동적 상태(Zone B)는 2~3문장으로 압축해 전송하는 2영역 아키텍처를 제시했으며 작성자는 이 접근이 KV cache 히트로 마진 토큰 비용을 90% 이상 낮춘다고 보고하고 관련 구현 문서인 Hermes Loop Protocol을 공유했다.
실용적 조언
- 래퍼 아키텍처를 설계할 때는 전체 시스템 프롬프트를 매회 전송하는 대신 불변 정보와 동적 정보를 분리해 불변 부분을 런타임 메모리(VRAM/GPU)에 고정하는 방식을 우선 고려해야 한다. 구체적으로 본문에서는 40k 이상을 불변 코어로 유지하고 그 외 변경분은 2~3문장으로 압축해 전송하라고 권고했으며 이 방법이 반복 루프에서의 입력 토큰 소모를 크게 줄인다고 보고되었다. 또한 래퍼 수준에서 KV cache를 유지하도록 패치해 키·값 행렬을 재사용하면 어텐션 계산을 건너뛰어 비용과 지연을 동시에 낮출 수 있다는 점을 실무 구현 단계에서 검토해야 한다.
섹션별 상세
작성자는 API 대시보드에서 24시간 미만 동안 입력 토큰 1,010만과 출력 토큰 약 23만이라는 청구 이상을 관찰했고 이 수치는 단일 모델 성능 문제가 아니라 래퍼 아키텍처의 동작 방식에서 기인했다고 보고했다. 입력과 출력 토큰 수를 명시해 문제의 규모를 계량화했고 이러한 수치가 실제 청구서로 이어진 사실을 근거로 들었다. 이 사건은 장시간 반복 루프를 도는 에이전트가 어떻게 비용 폭발에 취약한지 실증적으로 보여주었다.
본문은 스테이트리스 래퍼 패턴이 루프형 워크로드에서 어떤 방식으로 토큰을 낭비하는지를 기술했고 그 핵심은 루프마다 KV cache를 드롭하며 50k 토큰짜리 시스템 프롬프트를 재전달한다는 점이다. 입력이 모델에 들어가면 모델은 KV cache 없이 전체 프롬프트를 다시 처리해야 하고 이로 인해 100회 루프에서 50k×100 = 5,000,000 입력 토큰이 불필요하게 소비되는 계산을 제시했다. 이러한 작동 메커니즘은 긴 불변 지시문을 가진 에이전트에서 특히 비용 문제가 심각하다는 점을 보여준다.
제안된 해결책은 컨텍스트 창을 불변 코어와 동적 상태로 분리하는 2영역 아키텍처로서, 불변 코어(Zone A)를 40k 이상으로 유지해 한 번만 로드하고 VRAM이나 GPU 상태에 고정하며 반복 루프에서는 변경된 델타(Zone B)만을 2~3문장으로 압축해 전송하도록 구성하는 방식이다. Zone A가 변하지 않으면 추론 엔진이 KV cache를 히트하여 어텐션 계산을 재사용하고, 작성자는 이로 인해 한 루프당 추가되는 입력 토큰 비용이 90% 이상 감소한다고 보고했다. 이 구조는 입력 토큰 비용을 줄이는 동시에 긴 시스템 프롬프트를 유지해야 하는 운영 요구를 동시에 해결하는 실무적 패턴을 제시한다.
작성자는 위 개념을 정리한 4페이지 분량의 참조 문서인 Hermes Loop Protocol을 제작했고 이 문서에 KV cache 유지 메커니즘, 상태 델타 스키마, 그리고 래퍼 패치 로직을 포함했다고 밝혔다. 문서의 존재는 제안한 아키텍처가 단순 아이디어가 아니라 구현 지침과 패치 절차를 포함한 실무 문서로 준비되어 있다는 근거를 제공한다. 작성자는 댓글 질의응답을 통해 구현 세부를 보완하려는 의향을 표명해 추가 토론 가능성을 열어두었다.
용어 해설
- 키-값 캐시(KV cache)
- — KV cache는 토큰별 중간 계산 결과(키와 값)를 저장하여 동일 컨텍스트로의 반복 추론 시 어텐션 계산을 재사용하게 하는 메커니즘이다. 입력 토큰을 모두 다시 디코딩하는 대신 캐시된 키·값 행렬을 조회해 계산량을 줄이며, 긴 시스템 프롬프트를 반복 재전송하는 작업에서 청구되는 입력 토큰을 크게 절감할 수 있다. 본문에서는 KV cache 유지 여부가 루프형 에이전트의 토큰 비용을 결정하는 핵심 지표로 기능한다.
- 스테이트리스 래퍼(Stateless wrapper)
- — 스테이트리스 래퍼는 각 요청을 독립 처리하도록 설계되어 호출 사이에 내부 상태를 유지하지 않으며, 따라서 모델의 KV cache나 기타 런타임 상태를 지속적으로 재설정하는 구현 패턴을 의미한다. 루프가 많은 에이전트 워크로드에서는 매회 전체 시스템 프롬프트를 재전달하게 되어 불필요한 토큰 소모가 발생한다. 본문 사례에서는 스테이트리스 설계가 50k 토큰 규모의 시스템 프롬프트를 반복 재전송하는 원인으로 지목되었다.
- 컨텍스트 창(Context window)
- — 컨텍스트 창은 모델이 한 번의 추론에서 참조할 수 있는 토큰의 최대 범위를 뜻하며 시스템 지시와 사용자 입력, 툴 스키마 등 전체 문맥이 이 범위 안에 포함된다. 긴 시스템 프롬프트는 컨텍스트 창을 채워 반복 루프에서 입력 토큰 증가로 이어지며, KV cache를 유지하면 반복 조회로 비용을 줄일 수 있다. 본문에서는 컨텍스트를 불변의 코어와 동적인 델타로 분리하는 방식으로 창 활용을 최적화했다.
- 시스템 프롬프트(System prompt)
- — 시스템 프롬프트는 모델 동작을 규정하는 긴 지시문과 절차적 규약(예: SOP, JSON 툴 스키마)을 포함하는 입력 블록으로서 에이전트의 행위를 일관되게 만든다. 본문에서는 50k 토큰 규모의 시스템 프롬프트가 반복 루프에서 재전송되며 토큰 비용 폭증의 주요 원인으로 지목되었다. 시스템 프롬프트를 불변 코어로 분리해 한 번만 로드하면 반복 비용을 크게 낮출 수 있다.
- 상태 델타(State delta)
- — 상태 델타는 매 추론 루프에서 변화하는 최소한의 정보만을 요약한 업데이트로서 본문에서는 2~3문장 정도의 압축된 상태 요약을 의미한다. 델타만 전송하면 전체 시스템 프롬프트를 재전송하지 않아 입력 토큰을 절감할 수 있으며, 델타 스키마는 상태 일관성과 툴 호출을 보장하는 형식으로 설계돼야 한다. 글에서는 델타를 Zone B로 두고 Zone A는 고정해 KV cache를 활용하도록 권장했다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 28.수집 2026. 07. 28.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
