Nyquest: LLM 토큰 사용량을 15~75% 절감하는 Rust 기반 의미론적 압축 프록시

섹션별 상세

프롬프트 내의 중복된 지시사항이나 불필요한 수식어를 제거하여 토큰을 최적화한다. 350개 이상의 정규식 규칙과 로컬 LLM인 Qwen 2.5 1.5B를 활용해 텍스트를 응축하며, 입력 프롬프트의 성격에 따라 압축 강도를 조절한다. 실제 테스트 결과 규칙 기반 압축만으로도 평균 26.9%의 토큰이 절감되었다. 이를 통해 API 호출 비용을 직접적으로 낮추고 컨텍스트 윈도우 효율을 극대화한다.

다양한 LLM 제공업체와 호환되는 드롭인 프록시 구조를 제공한다. OpenAI, Anthropic, Gemini, xAI 등 주요 API와 호환되며, 클라이언트 코드에서 엔드포인트 URL만 수정하면 즉시 도입이 가능하다. 모델별 프로파일링 기능을 통해 고성능 모델에는 공격적인 압축을, 소형 모델에는 보수적인 압축을 자동으로 적용한다. 개발자는 복잡한 로직 수정 없이 기존 인프라에 Nyquest를 통합하여 성능 이득을 얻을 수 있다.

bash

curl -X POST http://localhost:5400/v1/messages \
 -H "Content-Type: application/json" \
 -H "x-api-key: $ANTHROPIC_API_KEY" \
 -H "anthropic-version: 2023-06-01" \
 -d '{ "model": "claude-haiku-4-5-20251001", "max_tokens": 100, "messages": [{"role": "user", "content": "Hello!"}] }'

Nyquest 프록시를 통해 Anthropic API 형식으로 요청을 보내는 예시

python

from openai import OpenAI
client = OpenAI(
 base_url="http://localhost:5400/v1",
 api_key="your-api-key",
)
response = client.chat.completions.create(
 model="claude-haiku-4-5-20251001",
 messages=[{"role": "user", "content": "Hello!"}],
)

OpenAI 호환 클라이언트를 사용하여 Nyquest 프록시와 연동하는 방법

에이전트 시스템을 위한 OpenClaw 모드와 보안 기능을 탑재했다. 도구 실행 결과의 불필요한 부분을 잘라내고 사고 과정(Chain-of-Thought) 블록을 압축하여 긴 대화 세션의 효율을 높인다. API 키는 AES-256-GCM 방식으로 암호화하여 저장하며, 프롬프트 내용은 로그에 남기지 않는 프라이버시 모드를 지원한다. 이는 기업용 LLM 서비스 구축 시 비용 효율성과 보안성을 동시에 확보할 수 있게 한다.

Rust로 작성되어 매우 낮은 지연 시간과 높은 처리량을 보장한다. 초당 1,400개 이상의 동시 요청을 처리할 수 있으며, 메모리 사용량은 71.4MB 수준으로 매우 가볍다. 원샷 설치 스크립트를 통해 하드웨어 체크부터 시스템 서비스 등록까지 자동화된 설치 과정을 제공한다. 실시간 메트릭 대시보드를 통해 토큰 절감률과 규칙 적용 현황을 시각적으로 모니터링할 수 있다.

용어 해설

의미론적 압축(Semantic Compression): — 텍스트의 핵심 의미는 유지하면서 불필요한 토큰을 제거하여 데이터 크기를 줄이는 기술이다. LLM 입력 프롬프트에서 중복된 지시사항이나 수식어를 제거하여 비용을 절감하고 처리 속도를 높이는 데 사용된다.
토큰 사용량(Token Usage): — LLM이 텍스트를 처리하는 기본 단위인 토큰의 소비량을 의미한다. 대부분의 상용 LLM API는 토큰 단위로 과금되므로, 이를 최적화하는 것이 운영 비용 절감의 핵심이다.
컨텍스트 윈도우(Context Window): — LLM이 한 번에 처리할 수 있는 최대 토큰 범위를 뜻한다. 대화가 길어지거나 문서가 방대해질 경우 이 범위를 초과하면 이전 내용을 망각하게 되므로 효율적인 관리가 필수적이다.
AES-256-GCM 암호화(AES-256-GCM): — 데이터의 기밀성과 무결성을 동시에 보장하는 고급 암호화 표준 방식이다. Nyquest에서는 API 키를 안전하게 저장하기 위해 이 방식을 사용하여 보안성을 강화한다.

기술

Rust
Qwen 2.5 1.5B
Anthropic API
OpenAI API
AES-256-GCM

활용 사례

RAG 시스템의 컨텍스트 압축
장기 대화 챗봇의 히스토리 요약
멀티 에이전트 시스템의 통신 최적화

언급된 리소스

GitHubNyquest GitHub Repository

문서Nyquest Official Documentation