Claude Code를 위한 멀티 포맷 LLM 프록시 Rosetta LLM 공개

실용적 조언

Claude Code에서 GPT-4o나 Llama 3 등을 테스트하고 싶다면 ANTHROPIC_BASE_URL을 Rosetta LLM 주소로 설정하여 사용하라.
보안을 위해 Hugging Face Space에 배포할 때는 반드시 Private 모드로 설정하고 API 키를 Secret으로 관리하라.

섹션별 상세

기존 프록시 도구인 LiteLLM 등은 추론 블록의 라운드트립 처리가 미흡하여 에이전트 워크플로에서 문맥이 끊기는 문제가 있었다. Rosetta LLM은 Anthropic의 signature 필드에 암호화된 추론 데이터를 인코딩하여 멀티 턴 대화에서도 프롬프트 캐싱 적중률을 유지하도록 설계됐다. 이를 통해 Claude Code가 외부 모델을 사용하더라도 일관된 추론 능력을 발휘할 수 있는 환경을 제공한다.

Anthropic Messages와 OpenAI Chat 형식 간의 실시간 변환을 유선 레벨에서 처리한다. 스트리밍 응답 시 SSE 핸들링을 통해 지연 시간을 최소화하는 패스스루 경로를 제공하며, 서로 다른 API 규격 간의 데이터 손실 없는 매핑을 보장한다. 사용자는 ANTHROPIC_BASE_URL 설정만으로 다양한 모델 제공업체를 Claude Code의 모델 선택기에서 바로 사용할 수 있다.

bash

uvx rosetta-llm
# Persistent install
uv tool install rosetta-llm
rosetta-llm --config ~/.rosetta-llm/config.json

uv 도구를 사용하여 rosetta-llm을 설치하고 실행하는 방법

docker

FROM ghcr.io/lokesh-chimakurthi/rosetta-llm:latest
COPY --chown=app:app config.json /app/config.json

Hugging Face Space 배포를 위한 Dockerfile 구성 예시

Hugging Face Space나 Docker를 통해 복잡한 설정 없이 즉시 배포가 가능하다. GHCR에 이미 빌드된 이미지를 제공하여 두 줄의 Dockerfile만으로 개인용 프록시 서버를 구축할 수 있도록 지원한다. uvx를 이용한 임시 실행이나 uv tool을 통한 영구 설치 등 개발자 편의를 고려한 다양한 배포 옵션을 포함하고 있다.

용어 해설

추론 블록(Thinking Block): — LLM이 최종 답변을 생성하기 전 내부적으로 수행하는 추론 과정을 담은 텍스트 블록이다. Claude Code와 같은 에이전트 도구에서 모델 간 형식을 변환할 때 이 데이터가 손실되면 문맥 유지와 프롬프트 캐싱 효율이 급격히 저하된다.
프롬프트 캐싱(Prompt Caching): — 자주 사용되거나 반복되는 프롬프트 컨텍스트를 서버 측에 저장하여 재사용하는 기술이다. API 호출 시 동일한 컨텍스트에 대한 연산 비용을 줄이고 응답 속도를 높이는 데 필수적이다.
서버 전송 이벤트(Server-Sent Events (SSE)): — 서버가 클라이언트로 실시간 데이터를 스트리밍할 수 있게 하는 웹 기술이다. LLM 응답을 한꺼번에 보내지 않고 생성되는 즉시 한 글자씩 전달하는 스트리밍 인터페이스 구현에 사용된다.

언급된 도구

Rosetta LLM추천

멀티 포맷 LLM 프록시 및 게이트웨이

LiteLLM중립

LLM 추론 프록시 라이브러리

언급된 리소스

GitHubRosetta LLM GitHub Repository

문서Rosetta LLM PyPI Page