New Relic, AWS 기반 생성형 AI 'NOVA'로 사내 생산성 혁신

New Relic은 파편화된 문서 검색으로 인한 엔지니어의 생산성 저하를 해결하기 위해 AWS 기반 AI 어시스턴트 'NOVA'를 개발했다. Amazon Bedrock, Kendra, DynamoDB 등을 활용한 이 시스템은 단순 문서 검색을 넘어 팀 권한 요청 및 속도 제한 관리와 같은 복잡한 트랜잭션 작업까지 수행한다. 특히 계층적 청킹과 컨텍스트 보강을 포함한 고도화된 RAG 기법과 LLM-as-a-judge 평가 프레임워크를 도입하여 응답 정확도와 신뢰성을 확보했다. 그 결과 정보 검색 시간을 95% 단축하고 매일 1,000건 이상의 쿼리를 처리하며 조직 전반의 효율성을 크게 향상시켰다.