InferShrink: LLM 비용을 80% 이상 절감하는 통합 최적화 라이브러리

섹션별 상세

InferShrink는 OpenAI와 Anthropic 클라이언트를 래핑하여 기존 코드를 거의 수정하지 않고도 비용 최적화 기능을 적용한다. optimize() 함수로 클라이언트를 감싸면 내부적으로 질문 복잡도를 분석하여 gpt-4o 요청을 gpt-4o-mini로 자동 라우팅하며 이 과정에서 약 95%의 비용 절감이 가능하다. 스트리밍 모드에서도 투명하게 작동하며 분류 작업은 스트림 시작 전에 완료된다.

python

import openai
from infershrink import optimize

client = optimize(openai.Client())
# gpt-4o 요청이 질문 복잡도에 따라 gpt-4o-mini로 자동 라우팅됨
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "What is 2+2?"}],
)

기존 OpenAI 클라이언트를 래핑하여 자동 모델 라우팅을 적용하는 예시

프롬프트 압축 기능은 LLMLingua를 활용하여 컨텍스트의 핵심 의미를 유지하면서 토큰 수를 획기적으로 줄인다. 특히 RAG 시스템에서 수천 개의 토큰을 포함하는 문서를 처리할 때 중복된 내용을 제거하고 중요도가 낮은 부분을 압축하여 토큰 사용량을 최대 70% 이상 절감하는 효과를 낸다. REFRAG 방식의 적응형 압축을 통해 중요한 구절은 상세하게 유지하고 나머지는 강하게 압축한다.

FAISS 기반의 의미론적 검색 기능을 내장하여 대규모 문서군에서 질문과 가장 관련성이 높은 정보만 추출한다. sentence-transformers를 사용해 고품질의 임베딩 기반 검색을 수행하며 모델에 전달되는 컨텍스트 크기를 최소화하여 추론 속도와 비용을 동시에 최적화한다. TokenShrink 클래스를 통해 문서 인덱싱과 쿼리 압축을 통합 관리한다.

python

from infershrink import TokenShrink, optimize
import openai

ts = TokenShrink()
ts.index("./docs")
result = ts.query("What are the API rate limits?")

client = optimize(openai.Client())
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "Answer using this context:
" + result.context},
        {"role": "user", "content": "What are the API rate limits?"},
    ],
)

의미론적 검색과 프롬프트 압축을 결합한 전체 스택 활용 예시

질문의 복잡도를 Simple, Medium, Complex의 세 단계로 분류하는 규칙 기반 분류기를 탑재했다. 코드 블록 포함 여부, 도구 호출(Tool use), 메시지 길이, 민감 키워드 등을 기준으로 모델을 선택하며 복잡한 추론이 필요한 경우에만 고성능 모델을 사용하도록 설계되어 효율적인 자원 배분이 가능하다. 동일 제공자 내에서만 라우팅을 수행하여 호환성 문제를 방지한다.

용어 해설

모델 라우팅(Model Routing): — 입력된 질문의 복잡도나 요구 사항을 분석하여 가장 적합하고 비용 효율적인 LLM 모델로 요청을 전달하는 기술이다. 이를 통해 단순한 작업에 고가의 모델을 사용하는 낭비를 줄이고 전체적인 운영 비용을 최적화할 수 있다.
프롬프트 압축(Prompt Compression): — 프롬프트 내의 불필요한 토큰을 제거하거나 핵심 의미를 유지하며 길이를 줄이는 기법이다. 토큰 기반 과금 체계에서 비용을 직접적으로 절감하며 모델의 컨텍스트 윈도우 제한 문제를 완화하는 데 중요한 역할을 한다.
페이스(FAISS): — 대규모 벡터 데이터셋에서 유사도 검색을 효율적으로 수행하기 위해 개발된 라이브러리이다. RAG 시스템에서 질문과 관련된 문서 조각을 빠르게 찾아내는 데 핵심적인 역할을 하며 고차원 데이터 처리에 최적화되어 있다.
LLM링구아(LLMLingua): — 거대 언어 모델을 활용하여 프롬프트를 압축하는 기술로 정보 손실을 최소화하면서 토큰 수를 줄인다. 복잡한 컨텍스트에서도 중요한 정보를 보존하는 능력이 뛰어나 효율적인 LLM 추론과 비용 절감을 가능하게 한다.
의미론적 검색(Semantic Retrieval): — 단순 키워드 매칭이 아닌 단어의 의미적 유사성을 바탕으로 정보를 찾아내는 방식이다. 임베딩 모델을 통해 텍스트를 벡터로 변환하여 질문의 의도에 가장 부합하는 문맥을 추출함으로써 답변의 정확도와 효율성을 높인다.

코드 예제

bash

pip install infershrink[all]

검색, 압축 등 모든 기능을 포함한 InferShrink 설치 명령

기술

Python
OpenAI API
Anthropic API
FAISS
LLMLingua
sentence-transformers

활용 사례

RAG 시스템 비용 절감
챗봇 모델 라우팅 자동화
대규모 문서 컨텍스트 압축

언급된 리소스

문서infershrink PyPI Project Page

import openai from infershrink import optimize client = optimize(openai.Client()) # gpt-4o 요청이 질문 복잡도에 따라 gpt-4o-mini로 자동 라우팅됨 response = client.chat.completions.create( model="gpt-4o", messages=[{"role": "user", "content": "What is 2+2?"}], )

from infershrink import TokenShrink, optimize import openai ts = TokenShrink() ts.index("./docs") result = ts.query("What are the API rate limits?") client = optimize(openai.Client()) response = client.chat.completions.create( model="gpt-4o", messages=[ {"role": "system", "content": "Answer using this context: " + result.context}, {"role": "user", "content": "What are the API rate limits?"}, ], )

InferShrink: LLM 비용을 80% 이상 절감하는 통합 최적화 라이브러리

섹션별 상세

용어 해설

코드 예제

기술

활용 사례

언급된 리소스

InferShrink: LLM 비용을 80% 이상 절감하는 통합 최적화 라이브러리

섹션별 상세

용어 해설

코드 예제

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드