LRTS: LLM 출력을 위한 회귀 테스트 도구

섹션별 상세

프롬프트 엔지니어링 과정에서 발생하는 의도치 않은 출력 변화를 정량적으로 측정하기 어렵다는 문제가 있었다. LRTS는 동일한 입력 데이터셋을 두 가지 프롬프트 버전에 실행하여 출력값의 차이를 비교하고 드리프트 점수를 산출한다. 이를 통해 개발자는 변경 사항이 기존 성능을 저해하는지 수치로 확인할 수 있으며, 설정된 임계값을 초과할 경우 CI 빌드를 중단시켜 품질을 보장한다.

근거

LRTS는 프롬프트나 모델 변경 시 발생하는 드리프트 점수와 추론 근거를 제공한다. — README.md의 'LRTS is regression testing for LLMs' 섹션

테스트 효율성을 높이기 위해 5단계의 다양한 평가 도구(Evaluator)를 혼합하여 사용할 수 있는 구조를 갖추고 있다. 텍스트 일치 여부를 확인하는 exact 방식부터 LLM이 직접 차이점을 설명하는 judge 방식까지 비용과 속도에 맞춰 선택이 가능하다. 특히 로컬에서 무료로 실행 가능한 구조 및 키워드 검사와 고비용의 의미론적 분석을 조합하여 최적의 테스트 전략을 구성할 수 있다.

bash

lrts test

설정 파일(.lrts.yml)을 읽어 모든 테스트 케이스를 실행하고 결과 보고서를 출력하는 핵심 명령어

yaml

provider: ollama
model: llama3
threshold: 0.85
prompts:
  support-bot:
    v1: prompts/v1.txt
    v2: prompts/v2.txt
datasets:
  qa: datasets/qa.jsonl
tests:
  - prompt: support-bot
    version: 2
    baseline: 1
    dataset: qa
    evaluators: [exact, keyword, structure, judge]

모델, 임계값, 프롬프트 버전 및 평가 도구를 정의하는 LRTS 설정 파일 예시

다양한 LLM 프로바이더와의 호환성을 제공하여 개발 환경과 프로덕션 환경 모두에서 유연하게 작동한다. Ollama, LM Studio, vLLM과 같은 로컬 추론 엔진은 물론 OpenAI, Anthropic, Groq 등 주요 클라우드 API를 지원한다. 개발 단계에서는 Ollama를 통해 비용 없이 테스트하고, 배포 전에는 GPT-4o와 같은 고성능 모델로 최종 검증을 수행하는 워크플로우가 가능하다.

반복적인 테스트 실행 시 발생하는 비용과 지연 시간을 줄이기 위해 자동 응답 캐싱 메커니즘을 도입했다. 프롬프트, 입력값, 모델, 온도 설정 등을 키로 사용하여 이전 실행 결과를 로컬 디렉토리에 저장하고 재사용한다. 두 번째 실행부터는 LLM 호출을 생략하므로 테스트 속도가 비약적으로 향상되며 API 호출 비용을 절반 이하로 절감할 수 있다.

근거

캐싱 기능을 통해 두 번째 실행부터는 LLM 호출 없이 결과를 재사용하여 비용과 지연 시간을 절반으로 줄일 수 있다. — Response caching 섹션 설명

용어 해설

회귀 테스트(Regression Testing): — 소프트웨어 변경 후 기존 기능이 여전히 올바르게 작동하는지 확인하는 테스트 기법이다. LLM 환경에서는 프롬프트나 모델 변경 시 출력의 일관성과 품질이 유지되는지 검증하여 예기치 않은 성능 저하를 방지하는 역할을 한다.
행동 드리프트(Behavioral Drift): — 프롬프트, 모델 버전, 파라미터 변경으로 인해 LLM의 출력 특성이 의도치 않게 변하는 현상을 의미한다. LRTS와 같은 도구는 이 변화를 수치화하여 허용 범위를 넘어서는 변화가 발생했을 때 개발자에게 알림을 준다.
의미론적 유사도(Semantic Similarity): — 단순한 텍스트 일치를 넘어 임베딩 벡터를 통해 두 문장의 의미가 얼마나 유사한지 측정하는 방식이다. LLM 출력의 경우 단어가 달라도 의미가 같으면 높은 점수를 부여하여 더 정확한 비교를 가능하게 한다.
JSON 라인(JSONL): — 각 행이 유효한 JSON 객체인 텍스트 파일 형식으로, 대규모 데이터셋을 처리할 때 유리하다. LLM 테스트에서는 입력 데이터와 기대 결과값을 구조화하여 저장하고 불러오는 표준적인 데이터 포맷으로 사용된다.

기술

Python
Ollama
OpenAI API
Anthropic API
vLLM
FastAPI
SQLModel

활용 사례

프롬프트 버전 변경 시 응답 품질 저하 감지
LLM 모델 업그레이드(예: GPT-4에서 GPT-4o) 시 동작 일관성 확인
CI/CD 파이프라인 내 LLM 출력 자동 검증

언급된 리소스

GitHubLRTS GitHub Repository