CI 로그 분석을 위한 LLM 에이전트 비용 및 아키텍처 최적화 전략

수 테라바이트의 CI 로그를 분석하기 위해 고가의 모델을 직접 사용하는 대신, Haiku와 Opus 모델을 계층적으로 배치한 에이전트 아키텍처를 도입했습니다. 전체 CI 실패의 80%를 차지하는 중복 문제를 저렴한 Haiku 모델이 먼저 필터링하고, 새로운 문제만 고성능 Opus 모델로 에스컬레이션하여 처리합니다. Opus는 직접 로그를 읽는 대신 하위 에이전트에게 구체적인 검색 명령을 내리고 결과만 취합하는 방식으로 컨텍스트를 깨끗하게 유지합니다. 이 방식을 통해 이전 세대 모델을 사용할 때보다 성능은 높이면서도 운영 비용을 대폭 절감하는 결과를 얻었습니다.