에이전트 워크플로 설계에서 토큰 예산의 중요성

대체로 긍정적이며, 많은 사용자가 비용과 성능 사이의 균형을 맞추는 설계 방식에 공감했다.

• 반복적인 데이터 처리에는 저렴한 모델을 사용하고, 최종 결과물 검수나 복잡한 로직 설계에만 GPT-4급 이상의 모델을 사용하라.
• 에이전트가 생성한 결과물이 너무 많아 검토가 불가능하다면 워크플로의 위임 수준을 낮추어야 한다.

• 비용 부담은 개발자의 테스트 빈도를 낮추어 모델의 취약점 발견을 방해하므로 단계별 모델 최적화가 필수적이다.
• 단순 반복 작업은 저비용 모델로 처리하고, 모호한 판단이나 디버깅 등 핵심 단계에만 고성능 모델을 집중 배치해야 한다.
• 복잡한 작업에 무턱대고 고성능 모델을 쓰기보다 작업을 소분하여 명확하게 정의하는 것이 우선이다.