경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM DevOps Agent

• •복잡한 레이어 구조로 인한 장애 포인트 다변화
• •동시 다발적 알람 발생으로 인한 시급도 판단 저해
• •개별 담당자의 경험에 의존하는 파편화된 정보 분석

네이버 검색의 아키텍처는 수많은 마이크로서비스가 얽혀 있어 하나의 장애가 연쇄적인 알람을 유발하는 구조이다.

• •영역별 Sub-agent(NX, PRS, SEER, ENV)를 통한 병렬 분석
• •Usain/Gom 등 내부 모니터링 시스템과의 API 연동
• •LLM 기반의 데이터 요약 및 장애 원인 유추 리포트 생성

Sub-agent 방식은 각 도메인별로 특화된 프롬프트와 데이터 소스를 활용하여 분석의 전문성을 높이는 전략이다.

• •코드 기반 오케스트레이션에서 LLM 기반 자율 계획으로 전환
• •정교한 판단을 위한 Multi-turn 추론 프로세스 도입
• •외부 환경 변화(휴일, 대선 등)를 파악하는 전용 툴 보강

Multi-turn 방식은 에이전트가 분석 결과에 따라 추가 질문을 던지거나 다른 도구를 사용하는 자율성을 부여한다.

• •Trigger Queue를 통한 알람 그룹화 및 LLM 비용 최적화
• •슬라이딩 윈도우 기반의 통계적 신뢰 구간 이상 탐지
• •과거 장애 시점을 재현하여 에이전트 성능을 검증하는 Replay 시스템

단순히 LLM에게 수치를 주는 것보다 통계적 유의성을 먼저 판단하여 전달하는 것이 환각 현상을 줄이는 데 효과적이다.

• •장애 분석 후 최적의 대응 방안(Action) 추천 기능 확대
• •문서/코드 에이전트 연동을 통한 지속적인 컨텍스트 최신화
• •장애 대응 경험의 데이터화 및 노하우 축적 시스템 구축

에이전트의 지속 가능성은 시스템의 변화를 얼마나 자동으로 학습하고 반영하느냐에 달려 있다.