TokenRaze: 고성능 모델은 사고를, 저가형 모델은 설명을 담당하는 비용 절감 프레임워크

실용적 조언

GitHub에 공개된 시스템 프롬프트를 Claude Projects에 복사하여 즉시 테스트 가능하다.
Gemini 모델을 사용하여 비용을 더욱 극단적으로 낮추는 실험을 병행할 수 있다.

섹션별 상세

고성능 모델의 높은 비용 문제를 해결하기 위해 '엔지니어(Opus)'와 '테크니션(Haiku)'의 역할을 분리하는 구조를 제안했다. 비싼 모델은 핵심 설계도(Schematics)만 작성하고, 저렴한 모델이 이를 상세히 설명하도록 유도하여 효율을 높인다. 이 방식은 전체 토큰 사용량을 최적화하여 고성능 모델의 추론 비용을 직접적으로 줄이는 효과가 있다.

시스템은 프롬프트 압축, 핵심 추론, 결과 복원이라는 3단계 프로세스로 작동한다. 먼저 저가형 모델이 입력을 압축하여 Opus에 전달하면, Opus는 논리적 핵심만 출력하고, 다시 저가형 모델이 이를 사람이 읽기 좋은 형태로 확장한다. 이 과정에서 Opus의 출력 토큰 수를 최소화함으로써 전체 API 비용을 최대 60%까지 절감할 수 있음을 확인했다.

구현을 위해 각 단계별 전용 시스템 프롬프트를 GitHub에 공개하고 Chrome 확장 프로그램도 준비 중이다. 사용자는 Claude Project 기능을 활용해 압축/복원용 프로젝트와 추론용 프로젝트를 분리하여 설정할 수 있다. 실제 데모에서는 운영 비용을 고려해 Gemini 모델을 활용하여 해당 로직의 범용성을 입증했다.

용어 해설

프롬프트 압축(Prompt Compression): — 프롬프트의 핵심 의미와 맥락은 유지하면서 불필요한 토큰을 제거하여 길이를 줄이는 기법이다. 이를 통해 LLM의 입력 비용을 절감하고 처리 속도를 높일 수 있으며, 특히 컨텍스트 윈도우가 제한적인 모델에서 효율적이다.
토큰 최적화(Token Optimization): — LLM API 사용 시 발생하는 비용을 줄이기 위해 입출력 토큰의 양을 최소화하는 전략이다. 불필요한 수식어나 반복을 제거하고 핵심 정보 위주로 프롬프트를 구성하여 경제성과 성능의 균형을 맞추는 것이 목적이다.
시스템 프롬프트(System Prompt): — AI 모델에게 부여하는 최상위 지시문으로, 모델의 역할, 어조, 제약 사항 등을 정의한다. 대화의 전반적인 맥락을 제어하며, 특정 워크플로를 수행하도록 모델의 행동 양식을 고정하는 데 사용된다.
추론 비용(Inference Cost): — 학습된 AI 모델을 실행하여 결과를 생성할 때 발생하는 비용이다. 주로 사용된 토큰 수나 컴퓨팅 자원에 따라 산정되며, 고성능 모델일수록 추론 비용이 기하급수적으로 증가하는 경향이 있다.