무상태 래퍼
무상태 래퍼는 각 요청을 독립적으로 구성하여 모델에 전달하는 설계로, 내부 상태를 장기적으로 보존하지 않고 매회 입력을 재조립한다. 이 방식은 확장성과 단순성을 제공하지만 긴 시스템 프롬프트를 반복해 재전송하면 KV 캐시를 활용하지 못해 입력 토큰이 누적 청구되는 단점이 있다. 게시글에서는 50k 토큰짜리 시스템 프롬프트가 루프마다 재투입되어 비용 폭증을 초래한 사례로 무상태 래퍼의 한계를 지적했다.
