CI 로그 분석을 위한 LLM 에이전트 비용 및 아키텍처 최적화 전략

섹션별 상세

전체 CI 실패 사례 중 약 80%가 이미 알려진 문제의 반복이라는 점에 착안하여 '트리아저(Triager)' 패턴을 도입했습니다. Haiku 에이전트가 pgvector를 이용한 시맨틱 검색과 정확한 에러 메시지 매칭 도구를 사용하여 중복 여부를 먼저 판단합니다. 중복으로 판명되면 즉시 종료하고, 판단이 모호하거나 새로운 문제일 때만 고가의 Opus 모델로 작업을 넘겨 불필요한 비용 발생을 차단합니다.

근거

Haiku 모델을 통한 트리아저 매칭 비용은 전체 조사 비용보다 약 25배 저렴하다. — Let a cheap agent decide if the expensive one is needed 섹션 마지막 문단

대용량 로그를 프롬프트에 직접 주입하는 대신 에이전트가 ClickHouse SQL 인터페이스를 통해 필요한 데이터만 직접 추출하도록 설계했습니다. 20만 줄이 넘는 로그를 모두 밀어넣으면 비용이 상승할 뿐만 아니라 모델이 불필요한 정보에 매몰되어 문제의 본질을 놓치는 '앵커링' 현상이 발생하기 때문입니다. 원시 데이터 테이블과 미리 집계된 구체화된 뷰(Materialized Views)를 제공하여 에이전트가 점진적으로 조사 범위를 좁혀갈 수 있도록 유도합니다.

고성능 모델인 Opus는 전체적인 조사 계획을 수립하고 가설을 세우는 오케스트레이터 역할을 수행하며, 실제 데이터 수집은 Haiku 서브 에이전트에게 맡깁니다. Opus가 작성한 구체적인 프롬프트를 받은 서브 에이전트는 특정 로그 라인 추출이나 Git 이력 확인 등의 단일 작업을 수행하고 요약된 결과만 반환합니다. 이러한 구조는 오케스트레이터의 컨텍스트를 정제된 상태로 유지하여 추론의 정확도를 높이고 토큰 소모를 최적화합니다.

근거

Haiku는 전체 입력 토큰의 65%를 처리하지만 비용 비중은 36%에 불과하다. — Expensive agents plan, cheap agents do the work 섹션 내 Cost 항목
계층형 모델 구조를 사용하지 않을 경우 일일 비용이 두 배 이상 증가한다. — Expensive agents plan, cheap agents do the work 섹션 내 Cost 항목

에이전트의 무분별한 확산을 막기 위해 서브 에이전트의 생성 깊이를 1단계로 제한하는 안전 장치를 마련했습니다. 무제한적인 하위 에이전트 생성은 비용 폭증의 원인이 되므로, 단일 수준의 위임 구조를 유지하면서도 각 단계의 결과를 다음 단계의 계획 수립에 반영하는 반복적(Iterative) 방식을 채택했습니다. 실제 사례에서 Opus는 에러 메시지 확인, 실패 추이 분석, 변경 이력 조사를 순차적으로 지시하여 근본 원인을 정확히 찾아냈습니다.

기술

Opus 4.6
Haiku 4.5
Sonnet 4.0
ClickHouse
pgvector
GitHub CLI

활용 사례

CI/CD 파이프라인 실패 자동 분석
대규모 시스템 로그 모니터링
중복 장애 티켓 자동 분류

CI 로그 분석을 위한 LLM 에이전트 비용 및 아키텍처 최적화 전략

섹션별 상세

기술

활용 사례

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드