InferShrink: LLM 비용을 80% 이상 절감하는 통합 최적화 라이브러리

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM API 사용 비용은 대규모 서비스 운영의 주요 장벽이며 특히 고성능 모델 사용 시 비용 부담이 크다. InferShrink는 검색, 프롬프트 압축, 모델 라우팅 기능을 통합하여 이 문제를 해결하는 Python 라이브러리이다. 사용자의 질문 복잡도를 분석하여 간단한 요청은 저렴한 모델로 자동 전달하고 긴 컨텍스트는 의미론적으로 압축하여 토큰 사용량을 줄인다. 결과적으로 기존 OpenAI나 Anthropic 클라이언트를 그대로 유지하면서도 비용을 최대 80% 이상 절감할 수 있는 실용적인 환경을 제공한다.

배경

Python 3.9 이상 (검색 기능은 3.10 이상), OpenAI 또는 Anthropic API 키, 기본적인 LLM API 사용 경험

대상 독자

LLM API 비용 최적화와 추론 효율 개선이 필요한 백엔드 및 AI 엔지니어

의미 / 영향

이 라이브러리는 고성능 LLM의 높은 운영 비용 문제를 해결하여 스타트업이나 개인 개발자가 대규모 컨텍스트를 활용하는 서비스를 경제적으로 구축할 수 있게 돕는다. 특히 검색과 압축을 통합한 접근 방식은 RAG 시스템의 실용성을 크게 높이는 계기가 된다.

섹션별 상세

InferShrink는 OpenAI와 Anthropic 클라이언트를 래핑하여 기존 코드를 거의 수정하지 않고도 비용 최적화 기능을 적용한다. optimize() 함수로 클라이언트를 감싸면 내부적으로 질문 복잡도를 분석하여 gpt-4o 요청을 gpt-4o-mini로 자동 라우팅하며 이 과정에서 약 95%의 비용 절감이 가능하다. 스트리밍 모드에서도 투명하게 작동하며 분류 작업은 스트림 시작 전에 완료된다.

python

import openai
from infershrink import optimize

client = optimize(openai.Client())
# gpt-4o 요청이 질문 복잡도에 따라 gpt-4o-mini로 자동 라우팅됨
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "What is 2+2?"}],
)

기존 OpenAI 클라이언트를 래핑하여 자동 모델 라우팅을 적용하는 예시

프롬프트 압축 기능은 LLMLingua를 활용하여 컨텍스트의 핵심 의미를 유지하면서 토큰 수를 획기적으로 줄인다. 특히 RAG 시스템에서 수천 개의 토큰을 포함하는 문서를 처리할 때 중복된 내용을 제거하고 중요도가 낮은 부분을 압축하여 토큰 사용량을 최대 70% 이상 절감하는 효과를 낸다. REFRAG 방식의 적응형 압축을 통해 중요한 구절은 상세하게 유지하고 나머지는 강하게 압축한다.

FAISS 기반의 의미론적 검색 기능을 내장하여 대규모 문서군에서 질문과 가장 관련성이 높은 정보만 추출한다. sentence-transformers를 사용해 고품질의 임베딩 기반 검색을 수행하며 모델에 전달되는 컨텍스트 크기를 최소화하여 추론 속도와 비용을 동시에 최적화한다. TokenShrink 클래스를 통해 문서 인덱싱과 쿼리 압축을 통합 관리한다.

python

from infershrink import TokenShrink, optimize
import openai

ts = TokenShrink()
ts.index("./docs")
result = ts.query("What are the API rate limits?")

client = optimize(openai.Client())
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "Answer using this context:
" + result.context},
        {"role": "user", "content": "What are the API rate limits?"},
    ],
)

의미론적 검색과 프롬프트 압축을 결합한 전체 스택 활용 예시

질문의 복잡도를 Simple, Medium, Complex의 세 단계로 분류하는 규칙 기반 분류기를 탑재했다. 코드 블록 포함 여부, 도구 호출(Tool use), 메시지 길이, 민감 키워드 등을 기준으로 모델을 선택하며 복잡한 추론이 필요한 경우에만 고성능 모델을 사용하도록 설계되어 효율적인 자원 배분이 가능하다. 동일 제공자 내에서만 라우팅을 수행하여 호환성 문제를 방지한다.

코드 예제

bash

pip install infershrink[all]

검색, 압축 등 모든 기능을 포함한 InferShrink 설치 명령

실무 Takeaway

기존 OpenAI 또는 Anthropic 프로젝트에 infershrink.optimize를 적용하면 코드 수정 없이 즉시 모델 라우팅을 통해 API 비용을 최대 95%까지 절감할 수 있다.
대규모 문서를 다루는 RAG 시스템에서 infershrink[retrieval] 옵션을 사용해 FAISS 검색과 프롬프트 압축을 결합하면 토큰 비용을 70% 이상 줄이면서 성능을 유지한다.
질문의 복잡도에 따라 모델을 자동 선택하는 규칙 기반 분류기를 활용하여 단순 작업에 고가의 모델이 호출되는 자원 낭비를 효과적으로 차단한다.

언급된 리소스

문서infershrink PyPI Project Page