LLM API 비용 절감 및 테스트 효율화를 위한 호출 기록 도구 개발

실용적 조언

테스트 환경에서 API 키를 비활성화하고 저장된 픽스처(Fixtures)만 사용하도록 설정하여 예기치 못한 비용 발생을 방지할 수 있다.
프롬프트나 모델 파라미터가 변경되었을 때만 기록 파일을 갱신하도록 워크플로를 구성하는 것이 좋다.

섹션별 상세

작성자는 LLM API 호출 시 발생하는 비용과 지연 시간을 줄이기 위해 응답 기록 및 재생 도구를 개발했다. 첫 번째 실행 시 Anthropic API의 응답을 지정된 파일 경로에 저장하고, 이후 동일한 함수 호출 시 네트워크 요청 없이 파일에서 데이터를 불러온다. 이를 통해 개발 환경에서 매번 실제 API를 호출할 필요가 없어지며 반복적인 테스트 속도가 향상된다.

python

@fixture("fixtures/analyze_entry")
def analyze_entry(entry: str) -> str:
    response = Anthropic().messages.create(
        model="claude-opus-4-5",
        max_tokens=1024,
        messages=[{"role": "user", "content": f"Analyze the mood and themes in this diary entry: {entry}"}]
    )
    return response.content[0].text

데코레이터를 사용하여 Anthropic API 호출 결과를 파일로 기록하고 재사용하는 예시 코드

테스트 환경에서 결정론적인 응답을 보장하여 로직 변경에 따른 회귀(Regression)를 쉽게 포착할 수 있다. LLM의 무작위성 때문에 발생하는 테스트 불확실성을 제거하고, 저장된 고정 응답을 사용함으로써 순수하게 애플리케이션 로직의 오류 여부만 판별 가능하다. 공유된 코드 스니펫에 따르면 파이썬 데코레이터 패턴을 사용하여 기존 함수에 간단히 적용할 수 있는 구조이다.

용어 해설

API 캐싱(API Caching): — API 호출 결과를 로컬 저장소에 저장해 두었다가 동일한 요청이 발생할 때 실제 서버를 호출하는 대신 저장된 데이터를 반환하는 기술이다. 이를 통해 중복된 네트워크 요청을 제거하여 API 사용 비용을 절감하고 응답 속도를 비약적으로 높일 수 있다.
결정론적 응답(Deterministic Response): — 동일한 입력에 대해 항상 동일한 출력을 보장하는 성질을 의미한다. LLM은 본래 확률적으로 응답이 변할 수 있으나, 기록된 데이터를 재사용함으로써 테스트 환경에서 일관된 결과를 얻고 로직의 변경 사항을 정확히 검증할 수 있게 한다.
회귀 테스트(Regression Testing): — 새로운 코드 변경이 기존 기능에 부정적인 영향을 미치지 않았는지 확인하는 소프트웨어 테스트 방식이다. LLM 애플리케이션에서는 이전의 정상 응답 데이터를 기준으로 현재의 로직이 의도대로 작동하는지 비교 검증하는 데 사용된다.

언급된 도구

Anthropic추천

LLM API 제공 및 메시지 생성