Claude 기반 문서 검토 서비스의 성능 최적화 경험

주요 논점

01중립다수

모델 교체는 최후의 수단이며, 먼저 프롬프트와 인프라 최적화를 통해 성능을 확보해야 한다.

프롬프트 크기 최적화: 불필요한 지침을 제거하여 시스템 프롬프트를 간소화했고, 이는 답변 품질 저하 없이 캐싱 효율을 높이는 결과로 이어졌다.

프롬프트 캐싱 활용: 정책 언어와 문서 템플릿 등 반복되는 요소를 프롬프트 앞단에 배치하여 캐싱 효율을 극대화했고, 결과적으로 청구되는 입력 토큰 비용을 크게 절감했다.

트래픽 분리: 실시간 고객 요청과 배치 작업(야간 작업, 백필 등)의 경로를 분리하여, 피크 시간대에도 고객 요청이 우선 처리되도록 큐를 조정했다.

재시도 로직 개선: 지나치게 공격적인 재시도 설정을 완화하고 간격을 조정하여, 복구 불가능한 요청에 대해 빠르게 실패 처리함으로써 사용자 경험을 안정화했다.

라우팅 전략: 애플리케이션 코드 내에서 라우팅을 처리하는 대신 TokenRouter와 같은 외부 도구를 사용하여 Claude 메시지 형식을 유지하며 트래픽을 분산했다.

Claude추천

고객용 문서 검토 기능

TokenRouter추천

라우팅 및 트래픽 분산