open-next-router (ONR): DSL 기반의 경량 LLM 게이트웨이 및 라우터

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

다양한 LLM 프로바이더의 API 규격 파편화는 멀티 모델 전략을 취하는 개발자들에게 큰 관리 부담을 준다. open-next-router(ONR)는 Nginx와 유사한 DSL(Domain Specific Language)을 도입하여, 애플리케이션 코드 수정 없이 설정 파일만으로 요청/응답 변환과 라우팅을 제어하는 해결책을 제시한다. 이 게이트웨이는 스트리밍 데이터 정규화, 무중단 설정 리로드, 상세한 사용량 및 비용 로그 기능을 제공하여 운영 효율성을 극대화한다. 결과적으로 개발자는 인프라 수준에서 프로바이더 간의 기술적 차이를 추상화하고 일관된 API 인터페이스를 유지할 수 있다.

배경

Go 언어 및 런타임에 대한 기본 이해, LLM API(OpenAI, Anthropic 등) 호출 구조 및 규격 지식, Nginx 설정 문법에 대한 친숙함

대상 독자

멀티 LLM 프로바이더를 사용하며 API 규격 통합과 비용 관리가 필요한 백엔드 및 MLOps 엔지니어

의미 / 영향

이 도구는 LLM 인프라 계층에서 Nginx와 같은 표준적인 게이트웨이 역할을 수행하여 개발자가 모델 프로바이더의 종속성에서 벗어나게 돕는다. 특히 코드 변경 없이 설정만으로 API 규격을 맞출 수 있다는 점은 대규모 서비스의 모델 전환 비용을 획기적으로 낮출 수 있음을 의미한다.

섹션별 상세

DSL 기반의 명시적 제어 방식을 통해 라우팅, 인증, 요청/응답 매핑을 정의한다. Nginx 스타일의 설정을 사용하여 `req_map`, `resp_map` 등의 지시어로 OpenAI 규격을 Anthropic이나 Gemini 규격으로 변환하는 과정을 투명하게 관리하며, 암시적인 휴리스틱 대신 명시적인 선언을 지향한다.

text

provider "anthropic" {
  defaults {
    upstream_config { base_url = "https://api.anthropic.com"; }
    auth { auth_header_key "x-api-key"; }
    request { set_header "anthropic-version" "2023-06-01"; }
  }
  match api = "chat.completions" stream = true {
    request {
      req_map openai_chat_to_anthropic_messages;
      json_del "$.stream_options";
    }
    upstream { set_path "/v1/messages"; }
    response { sse_parse anthropic_to_openai_chunks; }
  }
}

OpenAI 규격의 요청을 Anthropic API 규격으로 변환하고 스트리밍 응답을 파싱하는 DSL 설정 예시

SIGHUP 신호를 활용한 무중단 설정 업데이트 기능을 지원한다. 서버 재시작 없이 `onr.yaml`, `keys.yaml`, `models.yaml` 및 프로바이더 DSL 파일을 즉시 리로드할 수 있으며, 옵션으로 파일 감시(File Watch) 기능을 활성화하여 설정 변경 시 자동으로 반영되는 핫 리로드 환경을 구축할 수 있다.

bash

curl -fsSL https://raw.githubusercontent.com/r9s-ai/open-next-router/main/tools/install_onr_service.sh | sudo bash -s -- \
  --mode service \
  --api-key 'change-me'

Linux 환경에서 ONR을 systemd 서비스로 설치하는 원클릭 스크립트

상세한 한 줄 로그를 통해 운영 가시성과 비용 추적 기능을 제공한다. 모든 요청에 대해 지연 시간, 프로바이더 정보, 모델명뿐만 아니라 입력/출력/캐시 토큰 사용량과 추정 비용을 로그로 남겨 멀티 채널 환경에서의 디버깅과 예산 통제를 용이하게 한다.

보안이 강화된 인증 시스템을 구축했다. 표준 Bearer 토큰 외에도 URI 기반 토큰 키를 지원하며, `keys.yaml` 내의 민감한 API 키를 AES-256-GCM 방식으로 암호화하여 저장할 수 있다. 또한 환경 변수를 통한 키 오버라이드 기능을 제공하여 컨테이너 및 CI/CD 환경에 최적화된 키 관리가 가능하다.

고급 라우팅 및 프록시 제어 기능을 포함한다. `models.yaml`을 통해 모델별 라운드 로빈 라우팅을 설정하거나 `x-onr-provider` 헤더로 특정 프로바이더를 강제 선택할 수 있으며, 프로바이더별로 독립적인 HTTP/SOCKS5 아웃바운드 프록시를 설정하여 복잡한 네트워크 환경에 대응한다.

실무 Takeaway

멀티 LLM 프로바이더를 운영하는 환경에서 ONR의 DSL을 활용하면 애플리케이션 로직 수정 없이 새로운 모델이나 프로바이더를 즉시 통합하고 파편화된 API를 정규화할 수 있다.
보안 요구사항이 높은 프로덕션 환경에서는 `onr-admin` 도구를 사용하여 API 키를 AES-256-GCM으로 암호화 관리함으로써 소스 코드나 설정 파일의 키 유출 위험을 방지할 수 있다.
상세 로그와 사용량 추출 기능을 활성화하여 실시간으로 모델별 비용을 모니터링하고, 업스트림에서 제공하지 않는 사용량 정보도 추정치를 통해 파악하여 운영 비용을 최적화할 수 있다.

언급된 리소스

GitHubopen-next-router GitHub Repository

문서DSL Syntax Reference