LRTS: LLM 출력을 위한 회귀 테스트 도구

LRTS는 LLM 애플리케이션 개발 시 프롬프트 수정이나 모델 업그레이드로 인한 출력 변화를 감지하는 오픈소스 회귀 테스트 프레임워크이다. 기존의 수동 확인 방식 대신 두 가지 프롬프트 버전에 동일한 입력을 실행하고 점수, 추론 근거, CI 종료 코드를 통해 드리프트 발생 여부를 명확히 알려준다. 내부적으로 exact, keyword, structure, semantic, judge 등 5가지 평가 레이어를 제공하여 단순 형식부터 복잡한 의미 차이까지 분석한다. 로컬 환경의 Ollama부터 OpenAI, Anthropic 등 다양한 프로바이더를 지원하며 응답 캐싱 기능을 통해 테스트 비용과 지연 시간을 단축한다.