같은 LLM, 다른 에이전트: Mendral이 CI 전용 에이전트를 구축한 이유

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Mendral은 일반적인 코딩 에이전트인 Claude Code와 동일한 모델 가중치를 사용하지만, CI(지속적 통합) 실패 진단에 최적화된 독자적인 하네스를 구축했다. 이 시스템은 10년 이상의 CI 디버깅 경험이 반영된 시스템 프롬프트와 수개월 간의 로그 이력을 조회할 수 있는 ClickHouse 기반 데이터 계층을 활용한다. 특히 Firecracker microVM을 사용하여 도구 실행 간 상태를 보존하면서도 유휴 비용을 절감하는 서스펜드/리줌 기능을 구현했다. 결과적으로 단순한 코드 작성을 넘어 수억 개의 로그 행을 분석하고 과거 이력을 대조하여 간헐적 테스트 실패의 근본 원인을 정확히 파악한다.

배경

CI/CD 파이프라인 및 테스트 자동화에 대한 기본 이해, LLM 에이전트 및 도구 호출(Tool Calling) 개념, 가상화 및 데이터베이스(ClickHouse) 기초 지식

대상 독자

CI/CD 파이프라인 최적화와 LLM 에이전트 프로덕션 도입에 관심 있는 엔지니어

의미 / 영향

이 기술은 범용 LLM을 특정 산업 도메인에 적용할 때 모델 튜닝보다 주변 시스템(하네스) 설계가 더 중요함을 시사합니다. 특히 상태 보존형 샌드박스와 대규모 데이터 분석 계층의 결합은 복잡한 엔지니어링 문제를 해결하는 에이전트의 표준 아키텍처가 될 가능성이 높습니다.

섹션별 상세

기존 코딩 에이전트는 파일 수정에 최적화되어 CI 환경의 복잡한 실패 원인을 파악하는 데 한계가 있다. Mendral은 리소스 경합이나 공유 상태 문제와 같은 CI 특유의 디버깅 패턴을 시스템 프롬프트에 인코딩하여 에이전트가 인프라와 의존성 문제까지 고려하도록 유도한다. 이를 통해 동일한 모델을 사용하더라도 CI 도메인에 특화된 컨텍스트를 통해 더 정확한 진단이 가능해진다.

CI 워크플로는 테스트 완료까지 수 시간이 걸릴 수 있어 에이전트의 실행 상태를 유지하는 비용이 높다. Mendral은 Firecracker microVM을 도입하여 도구 실행 간에 샌드박스를 일시 중단하고 필요할 때 25ms 이내에 재개하는 구조를 갖췄다. 이 방식은 유휴 시간 동안의 컴퓨팅 자원 낭비를 방지하면서도 에이전트의 전체 실행 상태를 완벽하게 보존하여 장기 워크플로를 지원한다.

에이전트의 분석 능력은 접근 가능한 데이터의 양과 질에 의해 결정된다. Mendral은 수십억 개의 CI 로그 라인을 ClickHouse에 저장하고 35:1의 압축률과 밀리초 단위의 쿼리 성능을 확보했다. 에이전트는 고정된 API 대신 직접 SQL을 작성하여 최대 9억 개 이상의 행을 스캔하며 90일간의 테스트 이력을 분석함으로써 과거의 회귀 패턴까지 추적한다.

LLM의 환각이나 보안 위험을 제어하기 위해 도구 호출 경계에서 정적 분석을 수행한다. 모든 도구의 입력과 출력은 분석 레이어를 거치며 데이터가 부족할 경우 에이전트에게 추가 조사를 권고하는 컨텍스트를 동적으로 주입한다. 또한 브랜치 삭제나 강제 푸시와 같은 파괴적인 작업을 도구 수준에서 원천 차단하여 프롬프트 지시어보다 강력한 보안 경계를 제공한다.

에이전트의 도구 호출 과정에서 입력과 출력을 검사하는 정적 분석 레이어의 흐름도 — Diagram에이전트가 도구를 호출할 때 정적 분석 레이어가 개입하여 보안 경계를 확인하고, 도구의 실행 결과가 미흡할 경우 에이전트에게 추가 지침을 주입하는 메커니즘을 보여줍니다. 이를 통해 모델의 환각을 방지하고 도메인 지식을 실시간으로 보정할 수 있음을 설명합니다.

복잡한 작업을 효율적으로 처리하기 위해 서로 다른 성능과 비용을 가진 모델들을 함대 형태로 운영한다. 로그 파싱과 같은 단순 반복 작업에는 Claude 3 Haiku를, 근본 원인 분석과 같은 고도의 추론에는 Opus를 할당하여 자원을 최적화한다. 작업의 인지적 요구치에 맞춰 모델을 동적으로 라우팅함으로써 전체 시스템의 처리량과 경제성을 동시에 확보했다.

실무 Takeaway

동일한 LLM이라도 도메인 지식이 반영된 시스템 프롬프트와 전용 도구 세트를 결합하면 특정 도메인에서 범용 모델을 압도하는 성능을 낼 수 있다.
Firecracker microVM의 서스펜드/리줌 기능을 활용하면 장시간 실행되는 에이전트 워크플로에서 상태 보존과 비용 절감을 동시에 달성할 수 있다.
에이전트에게 원시 데이터에 대한 SQL 쿼리 권한을 부여하고 대규모 시계열 데이터베이스를 연결함으로써 분석의 깊이와 범위를 획기적으로 확장할 수 있다.