ARK: 지능형 라우팅을 통한 에이전트 비용 및 성능 최적화 런타임

작성자가 직접 개발한 오픈소스 프로젝트에 대해 대체로 긍정적이며, 특히 비용 최적화와 라우팅 논리에 대해 실무적인 관심이 높습니다.

• 에이전트 구축 시 모든 API 도구를 프롬프트에 넣지 말고, 작업 맥락에 맞는 도구만 필터링하여 주입하라.
• 단순 데이터 추출이나 도구 호출은 소형 모델에 맡기고, 최종 논리 구성에만 대형 모델을 사용하는 파이프라인을 설계하라.

Routing Layer

— 사용자의 요청이나 에이전트의 작업 단계에 따라 가장 적합한 모델이나 도구를 선택하여 연결해주는 중간 계층이다. 모든 데이터를 한 모델에 넣는 대신 작업의 복잡도에 맞춰 저비용 모델과 고성능 모델을 적절히 배분함으로써 비용과 성능을 최적화하는 역할을 한다.

System Prompt

— AI 모델이 작업을 수행하기 전에 미리 입력되는 지침이나 배경 정보의 집합이다. 모델의 역할, 사용 가능한 도구 목록, 제약 사항 등을 정의하며, 이 양이 너무 많아지면 모델의 추론 성능이 저하되고 API 비용이 급증하는 문제가 발생한다.

State Machine

— 시스템이 가질 수 있는 유한한 상태들과 그 상태들 간의 전이 규칙을 정의한 논리 모델이다. ARK에서는 작업이 단순 도구 호출 단계인지, 아니면 고차원적인 추론이 필요한 단계인지를 결정하고 상태를 전환하는 로직으로 활용된다.

Context Reduction

— 모델에 입력되는 토큰의 양을 줄여 추론 속도를 높이고 비용을 절감하는 기법이다. ARK는 140개의 도구 스키마를 모두 넣는 대신 현재 작업에 필요한 3~5개만 선별적으로 로드하여 99%의 컨텍스트 감소 효과를 달성했다.