AI 에이전트의 프롬프트 비대화 문제를 해결하는 Thoth의 설계 철학

섹션별 상세

기존 AI 에이전트는 설치된 모든 스킬과 워크플로를 프롬프트에 상시 주입하여 프롬프트 비대화(prompt bloat)를 유발한다. 이로 인해 모델의 추론 속도가 느려지고 집중력이 저하되는 문제가 발생한다.

Thoth는 툴 가이드와 챗 레벨 워크플로인 'Smart Skills'를 분리하는 아키텍처를 채택했다. 툴 가이드는 관련 툴이 활성화될 때만 포함되고, Smart Skills는 특정 스레드에서 필요할 때만 동적으로 주입된다.

사용자는 /skill 명령어를 통해 스킬을 호출하거나, 입력 중 제안 기능을 통해 필요한 워크플로를 선택할 수 있다. 이러한 방식은 전역적인 프롬프트 오염을 방지하고 컨텍스트 윈도우를 효율적으로 관리한다.

마켓플레이스 스킬은 로컬 메타데이터를 기반으로 제안되며, 런타임에 활성화되어 모든 스킬을 프롬프트에 덤프하지 않는다. 이는 파워 유저에게는 속도를, 일반 사용자에게는 깔끔한 기본 설정을 제공한다.

프롬프트 비대화(Prompt Bloat): — AI 에이전트가 설치된 모든 스킬이나 지침을 프롬프트에 상시 주입하여 발생하는 현상입니다. 불필요한 정보가 컨텍스트를 채워 모델의 추론 속도를 늦추고 집중력을 저하시키는 주요 원인이 됩니다.
컨텍스트 윈도우(Context Window): — 모델이 한 번의 추론 과정에서 처리할 수 있는 입력 토큰의 최대 범위입니다. 프롬프트가 불필요한 정보로 채워지면 이 공간이 낭비되어 모델이 중요한 작업에 집중할 수 있는 여력이 줄어듭니다.
결정론적(Deterministic): — 동일한 입력에 대해 항상 동일한 결과를 생성하는 성질입니다. 에이전트 설계에서 툴 가이드를 툴에 종속시켜 예측 가능한 동작을 보장하는 방식으로 활용됩니다.

Thoth추천

AI 에이전트의 프롬프트 최적화 및 동적 스킬 관리